OpenAIのAPIを使用した毒性評価では、ユーザー発話の10.82%に毒性（程度はさまざま）が含まれていたとのことです。
なおユーザー数は約16.8万人と推定されています。
@ ICLR 2024 Submission authors, “(InThe)WildChat: 570K ChatGPT Interaction Logs In The Wild“
ChatGPTが登場してから幾ばくかの年月が経過していますが、膨大な対話データを一括で分析するための基盤はまだ公開されておらず、登場が待たれています。
そこで研究者らは実際に行われた対話をデータセット『WildChat』として作成し、また毒性評価も行いました。
本稿は論文の簡単な紹介記事です。
データの収集方法
データの収集方法に関する特徴は以下の3つです。
① データ収集は2023年4月10日から2023年9月22日まで行われた
② ユーザーの同意を得て、匿名でデータを収集
③ データは前処理され、個人を特定する情報は削除されている
『WildChat』データセットの中身
① 約151万件の対話ターン（発話数）
② 約57万件の対話テーマ
③ 約16.8万人のユーザー（匿名化済み）
毒性評価実験
下記のツールを用いて毒性を評価
① OpenAIのModeration API
（テキストの毒性や不適切な内容を評価するAPI）
② Detoxify
（オープンソースのテキスト毒性評価ライブラリ）
毒性評価の結果
以下の割合で、ユーザーとLLMそれぞれの発話に毒性が確認された
① ユーザー：10.82%
② LLM：7.77%
※ただし毒性の程度はさまざま
使い方
プロジェクトページが公開されており、ただし現在はまだ「under construction」となっている
（研究自体がICLR 2024において査読中）
主な結論
① 本データセットは、多ターンの対話を網羅しており、毒性の研究にも有用である
② 指示に従うモデルの微調整にも有用である
注意点
① データセットには毒性が含まれているため、研究での使用には注意が必要
② データセットは匿名化されているが、完全なプライバシー保護は検証が必要
論文情報と関連研究
論文情報
(InThe)WildChat: 570K ChatGPT Interaction Logs In The Wild
URL：https://openreview.net/forum?id=Bl8u7ZRlbM
著者／機関：未公開（ICLR 2024に向けて査読中のため）
プロジェクトページ：https://wildchatdataset.com （under construction, update soonとのこと）
関連研究
約50万件の論文査読データセット「ARIES」が公開、論文の査読＆改善プロセスの分析に
論文の大規模データセット「unarXive 2022」登場！
大規模言語モデルの毒に用心を データポイズニングのリスク
GPT-4をセラピストとして実行し、「認知の歪み」を診断させるためのフレームワーク『Diagnosis of Thought (DoT)』と実行プロンプト
本投稿はAIDBのXポストの転載です。次の最新研究を最速で読みたい読者は本アカウントをチェックしてみてくださいね。
Xポストでは論文のカジュアルな紹介、本サイトではさらに論文の詳細な解説も掲載しています。
