LLM、皮肉理解の鍵は意図推論と役割分担

関西大学、滋賀大学、東京大学の研究者らによると、 LLMが皮肉に気づく際に最も重要なのは「言葉と状況の矛盾」ではなく「話者が何を意図しているか」の推論である。とのこと。

また、「これは皮肉？」とストレートに聞くよりも、役割分担させた方がうまくいくそうです。

「言葉の表面的な意味を読み取る係」
「背景状況を推測する係」
「社会的にどう評価されるべきかを判断する係」
「話者の意図を推理する係」
というチームを作り、それぞれの分析結果を最後に統合する方式。

なお、プロンプト技術を駆使してモデルに深く考えさせても、かえって精度が下がる場合があることもわかりました。

そして、表面上は完全にポジティブで矛盾が見えない皮肉は、この手法でも見抜けませんでした。​​​​​​​​​​​​​​​​
皮肉を理解するのはLLMにとって難しい課題であり、ただし工夫次第で精度が上がるということです。