LLMの内部状態を観察することで「出力がハルシネーションか否かを判別する」手法『LLMファクトスコープ』

   

大規模言語モデル(LLM)は「ハルシネーション」と呼ばれる、事実とは異なる出力を生成することが問題視されています。

関連研究LLMの誤り(ハルシネーション)発生原因と、「創造性と事実性のバランス」などの対策ロードマップ

ハルシネーションへの対策は、出力を外部データと照合するなどが一般的ですが、対処療法と言えなくもありません。

今回研究者らは、LLMが出力を生成する際に「事実と非事実で異なる内部状態を示す」という仮説に基づき、新しい検証アプローチ『LLMファクトスコープ』を開発しました。実験では、96%以上の精度で事実が判別できたと示されています。

本記事では、課題、アプローチの概要、実験結果を紹介します。

重要なお知らせ:AI分野のお仕事マッチングサービス「AIDB HR」を開始しました!登録後はオファーを受け取るだけのシンプルなサービスです!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。


参照論文情報

  • タイトル:LLM Factoscope: Uncovering LLMs’ Factual Discernment through Inner States Analysis
  • 著者:Jinwen He, Yujia Gong, Kai Chen, Zijin Lin, Chengan Wei, Yue Zhao
  • 所属:SKLOIS Institute of Information Engineering, Chinese Academy of Sciences / School of Cyber Security, University of Chinese Academy of Sciences
  • URL:https://doi.org/10.48550/arXiv.2312.16374

事実検証の課題

LLMは、複雑な言語パターンを駆使して、さまざまな分野で顕著な能力を発揮しています。

しかし、LLMはしばしば事実とは異なる出力を生成することがあり、この現象は「ハルシネーション」と呼ばれています。「ハルシネーション」は例えば医療や法律などの重要な分野では特に問題となってきます。LLMの信頼性を高める上では、出力が事実に基づくものかを検証する手段が必須です。

そこで今回研究者らは、人間のウソ検出器が行うように、LLMの内部状態を分析することで事実と非事実の出力を区別する手法を提案しています。

下のグラフは、事実データと非事実データにおける平均活性化レベルを層ごとに比較したグラフを示しています。

研究者らは、この活性化レベルを”Siamese Network(シャムネットワーク)”で分析し、LLMが出力する内容が事実に基づいているかどうかを効果的に識別するアプローチを試しています。

なお本アプローチの名称は「LLMファクトスコープ(Factoscope)」と付けられました。

本記事の関連研究

LLMファクトスコープの概要

パイプライン

LLMファクトスコープの基本は、

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について









■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






PAGE TOP