AIに人間の専門家(スーパーフォーキャスター)に匹敵するレベルで「未来の出来事を予測」させられるようになってきたと報告されています。
世界最大規模のヘッジファンド「Bridgewater Associates」のAIチームによる研究。
現実世界の出来事に対する確率予測問題を大量に集めて、 AIと人間(とくにスーパーフォーキャスター)の予測能力を比較・評価するためのベンチマーク「ForecastBench」上で検証されました。
精度を上げるためには、三つの重要な工夫が存在するとのことです。
一つ目は「検索の質」。LLMに自由に検索させて、その結果を見ながらさらに検索を重ねる方式にすると性能が劇的に向上しています。
二つ目は、LLMが一度だけ予測するのではなく、「何度も独立に予測させてその結果を組み合わせる」こと。
三つ目は「統計的な補正」。
LLMは控えめすぎる予測をする癖があるため、数学的に補正すると予測精度が改善するそうです。
また、面白いことにLLMが予測市場(人々が実際にお金を賭けて予測する場)の価格とは異なる視点を持っており、両者を組み合わせると市場単独より良い予測になるそうです。
市場の予測は極めて高度なタスクであり、これまでAI技術は「まだスーパーフォーキャスターの水準には到達しない」と考えられてきました。
しかし、だんだんとその常識が覆りつつあるのかもしれません。