手の込んだ手法よりシンプルな手法の方がLLMは幻覚を起こしにくい

本記事では、LLMにおける「ハルシネーション」（幻覚）の課題とその対策に関する最新の研究を紹介します。

ChatGPTの利用者が1.8億人を超え、WhatsAppでもLLMベースのチャットボットの導入が進むなか、重要分野での誤情報の影響が特に懸念されています。そこで研究者らは、プロンプトエンジニアリングやLLMエージェントといった「外側からのアプローチ」で、どこまでハルシネーションを抑制できるのかを明らかにしようとしています。

背景

LLMは産業界でも学術界でも幅広く大きな注目を集めています。しかし、LLMには「ハルシネーション（幻覚）」と呼ばれる重要な課題があります。実際の根拠がないにもかかわらず、もっともらしい誤った情報を生成してしまう現象です。

ChatGPTは約1億8550万人のユーザーを抱え、WhatsAppでもLLMを活用したチャットボットが2024年4月から導入されるなど、一般の人々の間でLLMの利用が急速に広がっている状況で、ハルシネーションの問題もより重要になりつつあります。さらに政治や医療などの重要分野でも導入が進むにつれ、LLMが生成する誤った情報が重大な結果を招くリスクがますます無視できなくなっています。

ハルシネーションを減らすための手法としては、例えばプロンプトエンジニアリングが期待されています。LLMに対する指示の出し方を工夫することで、より正確な出力を得ようとする取り組みです。また、外部ツールと組み合わせてLLMの機能を拡張する「LLMエージェント」アプローチも登場しています。

多くの最新のLLMは企業の独自技術であり、その内部の仕組みにアクセスすることはできません。そのために、モデルの中身に関係なく、プロンプトの設計や外部ツールの活用といった「外側からのアプローチ」で、どこまでハルシネーションを抑制できるのかが注目されているのです。

なお、ハルシネーションが必ずしも悪いものではないケースもあることに留意は必要です。例えば創作活動では、事実に基づかない新しいアイデアを生み出す能力が求められます。したがって、用途に応じてハルシネーションをコントロールする手法の開発が重要です。

このような背景から、今回研究者らはプロンプトエンジニアリングやLLMエージェントの活用が、様々な場面でハルシネーションの発生率にどのような影響を与えるのかを網羅的に調査しました。

以下でその内容を紹介します。まずは、LLM、幻覚、プロンプト技術、そしてLLMエージェントについての基礎をおさらいします。