NAIST、理研、京都工繊大、東京科学大学の研究者らは、LLMに”言葉の裏の意味”(皮肉など)を分からせる手法を発表しています。
『グライスの「協調の原理」や「関連性理論」』という考え方をLLMへ簡単に与えるだけで、能力が明確に向上するそうです。
これらの名称をプロンプトを入力するだけでも
効果があったことが報告されています。
背景として、人間の会話では、文字通りの意味だけでなく、暗黙の意図や、表面には現れない意味を読み取る必要がよくあります。
(例えば「ここは静かでいいね」と言いながら実は「うるさい」と言いたい場合など)
GPT-4oにこの手法を適用したところ、こうした、遠回しな表現を正しく解釈するテストで人間のスコアを超える結果まで出たとのことです。
このようなタスクにおいても、プロンプトの指示を工夫することで、モデルの中にある知識や能力を引き出してやる必要があると考えられています。
📄 参照論文
Pragmatic Theories Enhance Understanding of Implied Meanings in LLMs
所属: Nara Institute of Science and Technology, RIKEN, Kyoto Institute of Technology