Natureなどの論文約4,800本でGPT-4による査読能力が検証され、「LLMは査読にも有用」と結論

Nature誌をはじめとする約4,800本の論文に対して、GPT-4を用いた査読の品質が大規模に検証されました。科学的なフィードバックの生成におけるLLMの有用性を改めて（あるいは初めて）体系的に評価するものです。

結果からは、「LLMは査読サポートツールとしても有用」という結論が導かれました。また論文の初期段階での推敲においても、LLMのフィードバックが研究者に有益である可能性は高いとされています。

本記事では、研究内容を詳しく見ていきます。

本記事の関連研究

AIが科学論文の査読を補助する日は近い？

課題

査読は、研究業界において基盤となるプロセスです。研究の品質は、専門家による厳密な評価を通じて保証されるのが慣習となっています。

査読は非常に時間と労力を要するプロセスであり、一年間で約100Mの研究者時間と$2.5B USドルが費やされています。

一方で、近年、科学的な論文の数は急速に増加しています。例えば、ICLR（機械学習の国際会議）への論文提出数は、2018年の960本から2023年には4,966本へと増加しています。

さらに研究の専門分野が多角化するにつれて、適切な査読者を見つけることがますます困難になっています。

研究が急速に進展する現代においては、査読のスピードも非常に重要です。しかし、上記のような事情から、高品質な査読を速やかに行うことは容易ではありません。

加えて、比較的予算の小規模な研究機関や、資源に限りのある地域での研究者は、高品質なフィードバックを得るのは一層困難です。