ウェブ上に氾濫する陰謀論を識別するコンペが行われ、LLMを活用した手法を使用したチームが精度85%・F1スコア0.91で優勝しました。
チューリッヒ工科大による報告です。
○ Giuseppe Russo et al. ACTI at EVALITA 2023: Overview of the Conspiracy Theory Identification Task
ウェブ人口が増えるに従って陰謀論の影響力が増してしまっているため、自動識別技術を育むべく、パフォーマンスを競い合うコンペが開催されました。
以下はコンペの結果概要です。
■競技種目
①陰謀論的な内容を識別（二値分類）
②特定の陰謀論に分類（多クラス分類）
■データソース
陰謀論が頻繁に議論されるTelegramチャンネルから収集された25,000以上のデータ
■競技結果
①15チームが参加し、計81回の提出があった
②最も優れたパフォーマンスを示したチームは、精度が0.85（一つ目のタスク）、F1スコアが0.91（二つ目のタスク）だった
③大規模言語モデル（LLM）を用いたアプローチが多く、特にプロンプトとデータ拡張の手法が注目された
この結果は、陰謀論などの偽情報を見破る手法が画期的に向上してきていることを示しており、ネットユーザーにとっても明るい話題となります。
