最先端のLLMが実際のベンチャーキャピタリストよりも正確に起業家の成功を予測できたと実験結果が出ています。
オックスフォード大学などの研究者らによる報告です。
研究者たちは9,000人の起業家のデータを集めて、その人たちが成功するかどうかをLLMに予測させる実験を行いました。
なお、学習データによるカンニングを防ぐために匿名化の処理は入念に行われています。
トップクラスの投資会社でも6人程度しか当てられませんでしたが、LLMの中には、それを上回る精度で予測できるものがありました。
また、モデルごとに異なる予測傾向がある興味深い結果になりました。
なお、実験に使用したデータには、現実の割合よりも多くの成功事例が含められています。
そうしたギャップもあるため、現実の世界でも同じような結果が出るかは分かりません。
📄 参照論文
VCBench: Benchmarking LLMs in Venture Capital
所属: University of Oxford, Vela Research