LLMと人間実験の最適割合で経済モデルを構築

LLMで「ユーザーの反応を再現する」のは魅力的な取り組みですが、実際はLLMだけでシミュレーションすると現実とズレが生じます。

今回研究者たちは、「必要なデータ収集の約10%は人間で実験を行う」「LLMでシミュレーションできるのは90%」といった割合が有効であることを実験で確かめました。

人間で実際に実験したデータを使ってLLMによる予測と実際のズレを修正すると、残りの90%をシミュレーションしても、全員に実験したのとほぼ同じ精度の結果が得られたとのことです。

例えば通常は8週間以上かかる実験を、たった1日だけ人間で実施し、その後LLMでシミュレーションすることで、統計的に信頼できる結果を得られました。

ミシガン大学、シカゴ大学、MIT、Amazonなどの研究者らによる報告です。