LLMの誤り（ハルシネーション）発生原因と、「創造性と事実性のバランス」などの対策ロードマップ

★AIDB会員限定Discordを開設いたしました！ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします！↓

大規模言語モデル（LLM）における「ハルシネーション（幻覚）」に関する網羅的な調査報告が発表されました。ハルシネーションとは、LLMの出力が現実の事実やユーザー入力と矛盾する現象です。

研究者らは、ハルシネーションはデータ、トレーニング、推論という三つの段階に根ざしていることを明らかにしました。また、LLMの実用化に対する重大な課題であるため、より信頼性の高いモデルの開発に向けた研究の方向性を示しています。

今後のロードマップとしては、創造性と真実性のバランスに関する議論や、LLM自身に知識の境界に関する理解を深めさせることなどが挙げられています。

本記事では、調査報告の核心部分を詳細に見ていきます。

AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

タイトル：A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

著者：Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, Ting Liu

背景

大規模言語モデル（LLM）はテキスト理解やテキスト生成に大きな進歩をもたらしました。しかし、一つの大きな課題があります。それは、現実世界の事実やユーザーの入力と矛盾する内容、すなわち「ハルシネーション（幻覚）」を生成する現象です。

ハルシネーションは、LLMの応用における懸念を引き起こしています。そのため、ハルシネーションを検出し、軽減するための方法や、今後の展開が注目されています。

今回研究者らは、LLMにおけるハルシネーションに関する最近の進歩について、徹底的な調査を行うことを目指して分析に取り組みました。
主に分類、要因、検出方法、ベンチマークについて報告を行っています。

さらに、ハルシネーションを軽減するための代表的アプローチと、LLMの現在の限界を強調し、将来の研究のためのロードマップを提示しています。

論文によると、ハルシネーションの原因は、データ、訓練、推論の三つの段階それぞれにあります。各段階は、LLMがどのように知識を獲得し、使用するかに深く関連しています。

LLMはプレトレーニングデータに依存していますが、このデータが誤った情報や偏見を含んでいると、それらがLLMによって増幅され、ハルシネーションを引き起こすことがあります。

LLMは訓練データを記憶する傾向があり、特に重複する情報は過剰に記憶されがちです。これが「重複バイアス」を生じさせ、ユーザーの質問に対して不適切な応答を引き起こすことがあります。さらに、訓練データに含まれる社会的バイアスがLLMの生成するコンテンツに影響を与えることもあります。

LLMは広範な事実知識を保有していますが、限界があります。特定の専門分野の知識が欠けていたり、最新の事実知識が不足していることがあり、それがハルシネーションを引き起こす可能性があります。

プレトレーニング段階はLLMにとって重要な段階であり、そのフェーズで不適切なトレーニング戦略が採用されると、後のアライメント段階でのハルシネーションの原因となる可能性があります。

人間のフィードバックからの強化学習（RLHF）は、LLMがユーザーの指示に従うようにするプロセスですが、このプロセスが完全に調整されていない場合、LLMがユーザーの好みに完全に沿わない結果を生み出す可能性があります。

デコーディング戦略の欠陥や不完全な表現は、LLMが推論プロセスでハルシネーションを生じる原因となる可能性があります。LLMがどのようにして入力に対する応答を生成するかに関係しています。

なお、デコーディング戦略とは、モデルが内部的な表現や文脈をもとに次に生成する単語やフレーズを決定するプロセスを指します。

ハルシネーションが発生することを前提にして、適切に検出し、軽減することも重要となります。現状の検出プロセスは、

本記事を読むにはAIDBのアカウントが必要です。

※ログイン/初回登録後、下記ボタンを押してください。

■サポートのお願い

AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。