GPT-4などLLMの「科学」能力が多面的かつ大規模に評価されました。
薬物発見、生物学、計算化学、材料設計の分野で高い可能性が示されています。
まだ苦手なタスクもあり、外部ツール等との連携が必要と述べられています。
Microsoftの「Research AI4Science」チームと「Azure Quantum」チームによる発表です。
@ Microsoft, “The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4” 230ページ
論文によると、LLMは言語処理を超えた分野で活用できるるため、科学や研究の文脈でパフォーマンスを調べる意義があります。
そこで研究者らは、さまざまな科学分野におけるLLMの活用アプローチや可能性を総合的に調査しました。
■研究デザイン
① 以下4つの科学分野を調査：
薬物発見、生物学、計算化学、材料設計
② 複数の軸で能力を評価：
文献アクセス、概念化、分析、理論構築、方法論、予測、実験設計、コード開発、仮説生成
以下は、調査報告の抜粋です。
■LLMが得意なこと
薬物発見：
① 分子特性の予測
② 新しい分子の生成
生物学：
① 生物学的シーケンス（遺伝子配列）の理解
② 生物学的知識に基づく推論
計算化学：
① 電子結合に関する理論と実践の理解
材料設計：
① 知識の記憶と設計原理の要約
② 物性の予測
■LLMがまだ苦手なこと
薬物発見：
①レトロ合成の詳細な分析
生物学：
① 実験条件のニュアンスの完全な理解
計算化学：
① 分子動力学シミュレーションの精密なサポート
② 複雑な化学反応の最適化
材料設計：
① 合成計画の詳細な策定
② 新材料の予測
GPT-4などのLLMを科学で最大限活用するには、特化ツールやモデルと合わせることが重要とのことです。
また、今後のアップデートにより科学分野でのパフォーマンスはさらに改善される可能性があります。
