今回、ケンブリッジ大やStability.AIなど複数機関における大多数の研究者らが共同で「LLMが化学の分野でどのくらい優れた能力を持っているのか」を調べました。
研究者たちは「ChemBench」という評価システムを作り、様々なLLMの化学知識や推論能力をテストして報告しています。
参照論文情報
- タイトル：Are large language models superhuman chemists?
- 著者：Adrian Mirza 他多数
- 所属：Friedrich Schiller University Jena, QpiVolta Technologies, EPFL, University of Cambridge, University of Bayreuth, Intel Labs, Technische Universität Dresden, OpenBioML.org, Stability.AI
背景
科学分野では、論文や研究報告などの大量のテキストデータが蓄積されており、LLMを活用することで新たな知見の発見や研究の効率化が期待できます。実際に、生物学や医学の分野ではLLMを用いた研究支援ツールの開発が進んでいます。
一方で、化学分野におけるLLMの応用はまだ十分に検討されていません。化学は物質の構造や性質、反応を扱う学問であり、専門用語や記号が多用されるため、一般的なLLMをそのまま適用することは困難であるという見方もあります。また、化学反応の予測や新規物質の設計など、化学特有の推論タスクへのLLMの適用可能性も不明確です。
しかし、研究の効率化や新たな発見につながる可能性もあります。例えば、大量の化合物データベースや反応データベースをLLMに学習させることで、望みの性質を持つ化合物の探索や、最適な反応経路の提案などが可能になるかもしれません。
このような背景から、研究グループではLLMが化学研究の発展にどの程度貢献できるのかを明らかにするため、実験を行いました。
