AIが情報を生成する能力は日々進化していますが、その一方で生成された情報の事実性を確認することは難しくなっています。そこで、この問題を解決するための新たなツールが開発されました。それが「FacTool」です。この記事では、FacToolの概要とその特徴、そしてどのように事実性を検証するのかについて詳しく解説します。
参照論文情報
- タイトル：FacTool: Factuality Detection in Generative AI — A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
- 著者：I-Chun Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, Pengfei Liu
- 所属：カーネギーメロン大、Meta AIなど
- URL：https://doi.org/10.48550/arXiv.2307.13528
- GitHub：https://github.com/GAIR-NLP/factool
関連研究
- 未知の物体を認識し、それを既知の物体と区別する新たな研究 BMWやGoogleなど
- 3D-LLM：大規模言語モデルに3D世界を注入する新たな試み
- ChatGPTの”ふるまいの変化”を定量的に分析した結果
大まかな説明
FacToolとは？
FacToolは、生成型AIの出力の事実性を検証するためのフレームワークです。このツールは、様々なタスクやドメインに対して、生成された情報が事実に基づいているかどうかを評価することが可能です。
マルチタスクとマルチドメインの対応
FacToolは、例えば下記のような様々なドメインのテキストに対応しています。
- ニュース記事
- レビュー
- ウィキペディアの記事 など
また、事実性の検証を行うタスクも多岐にわたり、例えば、
- 生成されたテキストが元の情報源と一致しているか
- 新たに生成された情報が事実に基づいているか など
上記のように様々な観点から事実性を評価することが可能です。
先行研究では、生成型AIの出力の事実性を検証するためのツールがいくつか提案されてきましたが、それらは主に特定のタスクやドメインに特化していました。そのため、それらのツールを他のタスクやドメインに適用することは困難でした。
FacToolは、そのような課題を解決するために開発されました。このツールは、非常に高い汎用性を持つと言えます。
FacToolの仕組み
モデルの選択について
FacToolでは、各タスクに対して最適なモデルを選択します。例えば、テキスト生成タスクにはTransformerベースのモデルが適している場合があります。また、情報抽出タスクには、BERTやその派生モデルが適している場合があります。モデルの選択は、タスクの特性や訓練データの特性に基づいて行われます。
データセットの利用について
FacToolは、事実性の検証を行うためのデータセットを利用します。このデータセットは、事実性の検証を行うための様々なタスクに対応しています。自分でデータセットを作成する場合、まず、タスクの目的と要件を明確に定義することが重要です。次に、データセットがタスクの要件を満たすように、適切なデータを収集し、それを適切な形式に整形する必要があります。
モデル訓練について
FacToolのモデル訓練では、各タスクの特性に応じた最適化手法と損失関数が使用されます。例えば、テキスト生成タスクでは、クロスエントロピー損失関数とAdam最適化手法が一般的に使用されます。また、情報抽出タスクでは、F1スコアを最大化するような損失関数と最適化手法が選択されることがあります。
事実性評価指標について
FacToolでは、事実性の評価を行うための様々な指標を用いています。例えば、生成されたテキストが元の情報源と一致しているかを評価するためには、BLEUスコアやROUGEスコアなどのテキスト類似度指標が使用されます。また、新たに生成された情報が事実に基づいているかを評価するためには、情報抽出やエンティティリンキングなどのタスクを用いて、生成された情報と既存の知識ベースとの一致度を評価することがあります。
また、事実性の評価は主に「主張レベルの精度」と「レスポンスレベルの精度」の2つの指標を用いて行われます。
- 主張レベルの精度：これは、AIモデルが生成した個々の主張（情報の断片）が事実に基づいているかどうかを評価する指標です。例えば、AIが「東京は日本の首都である」と主張した場合、その主張が事実に基づいているかどうかを評価します。
- レスポンスレベルの精度：これは、AIモデルが生成した全体的なレスポンス（一連の主張）が事実に基づいているかどうかを評価する指標です。例えば、AIが「東京は日本の首都であり、人口は約1,300万人である」と一連の主張をした場合、その全体的なレスポンスが事実に基づいているかどうかを評価します。
FacToolを使用した各モデルの精度評価の検証結果
研究者らはFacToolを用いて、既存の大規模言語モデルを比較して、その事実性精度を評価しました。評価されたAIモデルはGPT-4、ChatGPT、Bard、Claude-v1、Vicuna-13Bです。
まず、下の図は、知識ベースのQA、コード生成、数学問題解決、科学文献レビューの4つのタスクにおける、さまざまなモデルの「主張レベルの精度」を示しています。主張レベルの精度は、AIモデルが生成した個々の主張（情報の断片）が事実に基づいているかどうかを評価する指標です。
次に、下の図は、同じ4つのタスクにおける、さまざまなモデルの「レスポンスレベルの精度」を示しています。レスポンスレベルの精度は、AIモデルが生成した全体的なレスポンス（一連の主張）が事実に基づいているかどうかを評価する指標です。
これらの結果から、各モデルの事実性精度が明らかになり、FacToolの有用性が示されました。
議論
対応範囲の拡大
FacToolは、生成型AIの出力の事実性を検証するための強力なツールと言えますが、その一方で、いくつかの議論点が存在します。例えば、FacToolが対応しているタスクやドメインは多岐にわたりますが、それでもまだ対応していないタスクやドメインも存在します。また、FacToolが使用するデータセットは、事実性の検証を行うための様々なタスクに対応していますが、それでもまだ対応していないタスクも存在します。
しかし、FacToolの開発チームは、これらの問題を解決するために、対応範囲を広げる予定であり、新たなタスクやドメインに対応するためのデータセットを追加することを検討しています。これらの改善により、FacToolはさらに強力な事実性検証ツールとなることが期待されます。
ユーザーフレンドリーなインターフェースの必要性
さらにFacToolの利用には一定の技術的な理解が必要となるため、一般のユーザーや小規模の開発チームでも容易に利用できるようなユーザーフレンドリーなインターフェースの提供が求められます。FacToolの開発チームとしては、この問題を解決するために、ユーザーフレンドリーなインターフェースの提供にも注力しています。
事実性評価の主観性と評価基準
また、事実性というのは非常に主観的な要素も含むため、その定義や評価基準については明確にされているべきです。FacToolでは、事実性の評価を行うための様々な指標を用いており、これらの指標は、事実性の検証を行うための様々なタスクに対応しています。
まとめ
FacToolは、生成型AIの出力の事実性を検証するための新たなツールです。このツールは、マルチタスクとマルチドメインに対応しており、様々なタスクやドメインで生成された情報の事実性を検証することが可能です。その有効性は、複数のタスクとドメインに対する実験によって確認されています。しかし、まだ対応していないタスクやドメインも存在するため、今後の発展が期待されます。
