LLMは自分自身のハルシネーション（幻覚）を一定程度、”自覚”することができるとの報告です。
また、その事実を利用して幻覚を減らすことが可能です。
Microsoftとスタンフォードの研究者らが検証しました。
○ Ayush Agrawal et al. “Do Language Models Know When They’re Hallucinating References?”
LLMは実在しないことをあたかも事実のように語ってしまうことがあり、これはハルシネーション（Hallucination：幻覚）として知られています。
研究者らは、LLMが幻覚を起こすなりゆきを分析し、幻覚を減らすための工夫を提案しています。
■検証プロセス
① （3つの）質問テンプレートを使ってLLMに質問する
② LLMにさらに詳しい質問をする
（調査インタビューからインスパイアされた、一貫性を評価するために複数の質問を行う手法）
③ 体系的に調査を行い、どのような質問で幻覚が起きやすいのか比較する
■検証結果
幻覚を減らすためには、”生成パイプライン”を変更することが有効である。
■”生成パイプライン”とは
LLMは、大量のテキストデータからパターンを学び取り、新しいテキストを生成するためのパイプラインを持っています。
これが”生成パイプライン”と呼ばれ、要するにテキストを生成する段階的な道のりです。
■幻覚を減らす工夫
“生成パイプライン”、つまりテキスト生成プロセスを改善・変更することで幻覚を減らすことができます。
❶前処理：たとえば、言語モデルがテキストを生成する際に、その正確さを前もって確認するステップを導入するのが有効です。
（「引用する文献や参照する情報が、実在するものであることを確認してください」など）
❷後処理：または、生成したテキストをレビューし、幻覚を識別して修正するためのアフターステップを導入することも有効です。
（「上記で生成したテキストはすべて事実に基づいていますか？」など）
これらの前処理や後処理はLLM自身が行うことができます。
そのため、研究者らは「LLMはハルシネーション（幻覚）を一定程度自覚できる」という表現をしています。
