本記事では、LLMにプロンプトだけを与えて、あたかも強化学習のような学びを促す手法を紹介します。

プロンプトの工夫だけで、本当に出力が改善していくのか。既存の方法と比べてどれくらい効果があるのか。そうした疑問に対し、研究チームは「ちょっとずつ上手くなるLLM」の実現に向けた工夫を試しました。

実験では3つのタスクを通じてその動きを丁寧に観察し、LLMにとっての「学習」とは何かを問い直しています。

背景

たとえば、LLMに業務の判断を任せたり、繰り返しのタスクを代行させたりする場合、その場その場のフィードバックを受けて少しずつ賢くなってくれれば便利です。新しい問題に遭遇するたびに、人間がプロンプトを調整し直すのではなく、至極シンプルなフィードバックを与えるだけでLLM自身が出力を改善してくれたら使い勝手が良い。

こうした「その場で改善」を実現する際の考え方はいくつかあります。

たとえば、何通りかの答えを出させて、その中から良さそうなものを選ぶようにすれば、少しずつマシな結果に近づいていきます。こうした工夫はよく行われています。

一方で、「どうすればもっと良くできるか」をLLM自身が学び取っていくような方法は、あまり解明されていません。今のLLMが得意なのは、模範的な答えを見せて、それに倣わせるやり方ですが、あくまでお手本が必要です。自分の試行錯誤から学ぶような柔軟さはありません。

そこで、”強化学習”が参考になります。

強化学習とはモデルの回答がうまくいったかどうかの結果をもとに、行動を少しずつ良くしていく考え方です。

本来はモデルの内部構造を変えることで実現するアプローチですが、最近では、LLMの推論中に自然と現れることも報告されるようになっています。

研究者たちはこのような性質に注目しました。そして、モデルの中身には一切手を加えず、あくまで与える情報の工夫だけで、LLMの中にある「学びの力」を引き出すことができるのかを検証しました。

以下で詳しく紹介します。