LLMの意外性が示す科学的インパクト

研究者たちが200万本以上の論文を調べたところ、LLMにとって意外だった論文は長期的にインパクトを持つ傾向があることが分かりました。

LLMが科学的発見を予測しづらいことが、むしろ重要さを予測するための手がかりになる可能性があるという興味深い話です。

そうした意外性のある論文は科学界でも賛否両論を呼んでいるそうです。
査読者の評価が真っ二つに分かれたり、一流ジャーナルに載るか下位ジャーナルに回されるかの極端な結果になっていたりします。
画期的な研究は最初から万人に理解されるわけではなく、むしろ混乱や議論を呼ぶことを示唆しているのかもしれません。

ただし人文系の研究ではこの傾向は逆でした。

※LLMのパープレキシティ（予測しづらさ）を意外性と表現しています。

また、アメリカでは、軍事関連機関はこうした「意外な」研究により多くの資金を出す一方で、保健関連の機関は安全で予測可能な研究を好む傾向があったそうです。