大規模言語モデルにおけるハルシネーション（事実とは異なる誤った出力）を有意に減少させることができる手法Chain-of-Verification（CoVe）手法が発表されました。

この手法は、Wikidataに基づいたリストベースの質問、長文のテキスト生成といった多様なタスクで効果を発揮しました。

本記事は論文を参照し、『CoVe』の性能や、具体的なプロンプト例などを紹介します。

参照論文情報

• タイトル：Chain-of-Verification Reduces Hallucination in Large Language Models
• 著者：Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
• 機関：Meta AI, ETH Zurich
• URL：https://doi.org/10.48550/arXiv.2309.11495

https://twitter.com/ai_database/status/1705071910885941683

「LLMの推論能力を向上させる手法」に関連する他の研究

• 推論能力をさらに強める戦略『AoT』で、LLMが「直感」に似た能力を示すようになった
• タスクに応じてロールプレイさせるとChatGPTなどLLMの推論能力は普遍的に向上する
• LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法

従来の課題

大規模言語モデルは、しばしば「ハルシネーション」と呼ばれる現象を引き起こします。ハルシネーションとは、モデルが「事実に基づかないが一見妥当に見える情報」を生成することを指します。訓練データに少なく出現する事実に対して、モデルは誤った情報を生成する傾向があります。

ハルシネーションが問題とされるのは、例えば質問応答システムで正確な情報を提供する必要がある場合や、自動要約で信頼性が求められる場合などです。

Chain-of-Verification（CoVe）の主なアイデア

今回Meta AIが発表した『CoVe』は、大規模な言語モデルが生成する回答の信頼性を高めるためのフレームワークです。モデルは初めに回答のドラフトを生成し、その後でその回答が事実に基づいているかどうかを検証するための質問を計画します。次に、それらの質問に独立して回答し、最終的な検証済みの回答を生成します。

CoVeの主要なステップ

CoVeの主要なステップは以下の4つです。

1. 基本的な回答を生成
2. 検証のための質問を計画
3. 検証質問に独立して回答
4. 最終的な検証済みの回答を生成

各検証質問に対する回答を元に、初稿の回答に対する修正や補足を行い、最終的な検証済みの回答を生成します。このプロセスで、生成された回答の信頼性と精度が向上します。

方法論の詳細

提案されている方法論は前述の通り4つの主要なステップで構成されています。その詳細を紹介します。

1. 基本的な回答を生成

まず、与えられたクエリに対して大規模言語モデル（LLM）を使用して基本的な回答を生成します。

2. 検証の計画

検証の計画ステップでは、生成された基本的な回答とクエリを元に、その回答が事実に基づいているかどうかを確認するための質問が（LLM自身によって）生成されます。質問は、基本的な回答の各部分に対する事実検証を目的としています。

3. 検証の実行

検証の実行ステップでは、生成された質問に対して独立して回答が行われます。回答は、基本的な回答の事実性を検証するために使用されます。

4. 最終検証済み回答を生成

最終検証済み回答を生成するプロセスでは、検証の結果を元に、基本的な回答に対する修正や補足が行われます。このステップで最終的な検証済みの回答が生成され、その信頼性と精度が向上します。

具体的なプロンプト例

『CoVe（Chain-of-Verification）』フレームワークを使用するには、ユーザーが初期の質問プロンプトで大規模言語モデル（LLM）への指示を追加する方法が有効です。

ChatGPTのようなインタフェースで容易に実行できるほか、システムにあらかじめ組み込むことも可能です。以下がプロンプト例です。