「自然言語を超えて」と題して、LLMにタスク実行時の思考を人間の自然言語とは異なるフォーマットで行わせるプロンプト手法『AutoForm（オートフォーム）』が考案されました。
実験の結果、論理や数理のタスクで通常のプロンプトよりも一貫して優れたスコアが得られています。
LLMの思考は必ずしも人間と同じフォーマットに沿う必要はない、といった結論になります。LLMエージェント同士でコミュニケーションする際にはこの方が効率的かもしれないとのこと。
“Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication”より
■研究背景
人間同士で話すときの主なフォーマットは自然言語ですが、LLMがタスクをこなすときやLLM同士で話す場合にも自然言語が最適なのかは検証されていません。
学習データには非自然言語が大量に含まれているはずのため、フォーマットを柔軟に変更することがLLMの能力を拡張することに繋がるかもしれません。
■実験内容
– 様々な非自然言語フォーマットでLLMにタスクを実行させるプロンプト手法を適用
※プロンプトの例：
自然言語に固有の曖昧さを排除し、明確性を高めるために、ステップバイステップの解決策には、より構造化されて簡潔なコミュニケーションの形式を検討してください。適切なフォーマットには、コード、擬似コード、JSON、マークダウン表、論理演算子、または数学方程式が含まれます。回答の最後には、〜〜という形式で答えを示さなければなりません。簡潔かつ正確であることを忘れないでください。
– GPT-3.5/4/Gemini Proを使用
– 論理的推論、数学的推論、因果推論、象徴的推論タスクを実行
■実験結果
– さまざまな推論タスクの性能が一貫して向上した
– エージェント間コミュニケーションにおいてトークン使用量が最大72.7%削減された
