本記事ではペルソナ駆動型データ合成手法を紹介します。数学問題、論理的思考問題、指示、知識豊富なテキストなど、様々な分野で影響を与えるかもしれません。
10億の多様なペルソナを活用し、合成データの大規模な作成を行うPersona Hub(ペルソナハブ)に関するテクニカルレポートをもとに説明します。
参照論文(テクニカルレポート)情報
- タイトル:Scaling Synthetic Data Creation with 1,000,000,000 Personas
- 著者:Xin Chan, Xiaoyang Wang, Dian Yu, Haitao Mi, Dong Yu
- 所属:Tencent
背景
LLMの開発や研究において、合成データの重要性が高まっています。必要なデータ量を効率的に確保すること、エッジケースに対応すること、プライバシーに配慮することなどが目的です。
しかし、大量の合成データを作成する際には、その多様性を確保することが課題となっています。
これまでの合成データ作成手法には主に2つのアプローチがあります。
1つ目は、既存のデータセットを基にして新しいインスタンスを作り出す「インスタンス駆動型」アプローチ。2つ目は、重要なポイントや概念のリストを用いて合成データを多様化させる「キーポイント駆動型」アプローチです。
しかし、上記の手法では合成データの作成を大規模に行うことが難しいという問題があります。
そこで今回新たに「ペルソナ駆動型」データ合成手法が考案されました。LLMに特定のペルソナ(人物像)を与えることで、そのペルソナの視点から多様な合成データを生成する手法です。
そして手法を実現するために「Persona Hub」と呼ばれる10億の多様なペルソナのコレクションが構築されました。多くの視点や知識にアクセスして大規模なデータを作成します。
本アプローチで数学の問題、論理的思考問題、ユーザーインストラクションプロンプト、知識豊富なテキスト、ゲームのNPC、ツール(関数)開発など、様々なシナリオでの合成データ作成が容易になると実験で示されました。
以下で詳しく紹介します。
また記事の購読には、アカウント作成後の決済が必要です。
※ログイン/初回登録後、下記ボタンを押してください。
AIDBとは
プレミアム会員(記事の購読)について
■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。