AIが情報を生成する能力は日々進化していますが、その一方で生成された情報の事実性を確認することは難しくなっています。そこで、この問題を解決するための新たなツールが開発されました。それが「FacTool」です。この記事では、FacToolの概要とその特徴、そしてどのように事実性を検証するのかについて詳しく解説します。

参照論文情報

• タイトル：FacTool: Factuality Detection in Generative AI — A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
• 著者：I-Chun Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, Pengfei Liu
• 所属：カーネギーメロン大、Meta AIなど
• URL：https://doi.org/10.48550/arXiv.2307.13528
• GitHub：https://github.com/GAIR-NLP/factool

関連研究

• 未知の物体を認識し、それを既知の物体と区別する新たな研究　BMWやGoogleなど
• 3D-LLM：大規模言語モデルに3D世界を注入する新たな試み
• ChatGPTの”ふるまいの変化”を定量的に分析した結果

大まかな説明

FacToolとは？

FacToolは、生成型AIの出力の事実性を検証するためのフレームワークです。このツールは、様々なタスクやドメインに対して、生成された情報が事実に基づいているかどうかを評価することが可能です。

マルチタスクとマルチドメインの対応

FacToolは、例えば下記のような様々なドメインのテキストに対応しています。

• ニュース記事
• レビュー
• ウィキペディアの記事　など

また、事実性の検証を行うタスクも多岐にわたり、例えば、

• 生成されたテキストが元の情報源と一致しているか
• 新たに生成された情報が事実に基づいているか　など

上記のように様々な観点から事実性を評価することが可能です。

先行研究では、生成型AIの出力の事実性を検証するためのツールがいくつか提案されてきましたが、それらは主に特定のタスクやドメインに特化していました。そのため、それらのツールを他のタスクやドメインに適用することは困難でした。

FacToolは、そのような課題を解決するために開発されました。このツールは、非常に高い汎用性を持つと言えます。

FacToolの仕組み

モデルの選択について

FacToolでは、各タスクに対して最適なモデルを選択します。例えば、テキスト生成タスクにはTransformerベースのモデルが適している場合があります。また、情報抽出タスクには、BERTやその派生モデルが適している場合があります。モデルの選択は、タスクの特性や訓練データの特性に基づいて行われます。

データセットの利用について

FacToolは、事実性の検証を行うためのデータセットを利用します。このデータセットは、事実性の検証を行うための様々なタスクに対応しています。自分でデータセットを作成する場合、まず、タスクの目的と要件を明確に定義することが重要です。次に、データセットがタスクの要件を満たすように、適切なデータを収集し、それを適切な形式に整形する必要があります。

モデル訓練について