LLMは1回のやりとりなら高い性能を出せるのに、会話が複数ターンに伸びてくるとガクッと落ちてしまう現象がよく観察されます。
こうしたことが起きる最大の原因は、モデルの頭が悪いからではなく人間とモデルの間で「意図のすれ違い」が起きているから、とのこと。
人間は会話の中で 少しずつ要望を出していきますが、モデルはその断片的な情報を受け取ったとき、早々に「たぶんこういうことだろう」と”平均的なユーザー”を想定して先回りする傾向にあります。
この先回りの結果、ユーザーの本来の意図とズレると、以降の会話がどんどん的外れな方向に進んでしまうのだといいます。
この問題は、モデルを巨大にしても、最新の推論技術を入れても解決しません。本質は「情報が足りない」ことであって、「考える力が足りない」ことではないからです。
ではどうすればいいのかというと、研究者たちは「AIと人間の間に意図調整役を挟むのがよい」としています。
この「意図調整役」はユーザーの言い回しを考慮して明確な指示をAIに渡す役目を持ちます。
あまりにも冗長な仕組みではないかと思うかもしれませんが、実際この工夫をすることで人間の意図をズレなくAIが汲み取れるようになっていくそうです。
