タスクに応じてロールプレイさせるとChatGPTなどLLMの推論能力は普遍的に向上する
○ Aobo Kong et al. Better Zero-Shot Reasoning with Role-Play Prompting
ロールプレイさせるとは、「〇〇として振る舞ってください」などのプロンプトで実行できるコマンドです。
レノボなどの研究者らは、以下のタスクに対してロールプレイ状態のLLMを評価しました。
■数学
■常識
■パターン認識
■その他
結果、75%の確率(12データセット中9データセット)で通常状態より性能が上がったとのこと。
GPT-3.5、GPT-4、Llama 2、Vicunaすべてにおいて普遍的にこの現象は見られました。
以下は、この現象に対する研究者らの考察です。
■ロールプレイが効果的なのはCoT(Chain of Thought)を発動させるから
■タスクと求める結果に適した役割を与えることが大事(自然科学の質問に対してアカデミックな回答が欲しいときは学者など)
■実際に推論タスクを与える前に、LLMが役割をどう自己認識しているかを聞いてズレがないか確認するのがベター
この報告はすぐにでもLLMの活用に役立つ知見を提供してくれていますね。