10億人のペルソナ(人物像)で多様な合成データを作成するための技術

   

本記事ではペルソナ駆動型データ合成手法を紹介します。数学問題、論理的思考問題、指示、知識豊富なテキストなど、様々な分野で影響を与えるかもしれません。

10億の多様なペルソナを活用し、合成データの大規模な作成を行うPersona Hub(ペルソナハブ)に関するテクニカルレポートをもとに説明します。

重要なお知らせ:AI分野のお仕事マッチングサービス「AIDB HR」を開始しました!登録後はオファーを受け取るだけのシンプルなサービスです!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。



参照論文(テクニカルレポート)情報

  • タイトル:Scaling Synthetic Data Creation with 1,000,000,000 Personas
  • 著者:Xin Chan, Xiaoyang Wang, Dian Yu, Haitao Mi, Dong Yu
  • 所属:Tencent

背景

LLMの開発や研究において、合成データの重要性が高まっています。必要なデータ量を効率的に確保すること、エッジケースに対応すること、プライバシーに配慮することなどが目的です。

しかし、大量の合成データを作成する際には、その多様性を確保することが課題となっています。

これまでの合成データ作成手法には主に2つのアプローチがあります。
1つ目は、既存のデータセットを基にして新しいインスタンスを作り出す「インスタンス駆動型」アプローチ。2つ目は、重要なポイントや概念のリストを用いて合成データを多様化させる「キーポイント駆動型」アプローチです。
しかし、上記の手法では合成データの作成を大規模に行うことが難しいという問題があります。

そこで今回新たに「ペルソナ駆動型」データ合成手法が考案されました。LLMに特定のペルソナ(人物像)を与えることで、そのペルソナの視点から多様な合成データを生成する手法です。

そして手法を実現するために「Persona Hub」と呼ばれる10億の多様なペルソナのコレクションが構築されました。多くの視点や知識にアクセスして大規模なデータを作成します。

本アプローチで数学の問題、論理的思考問題、ユーザーインストラクションプロンプト、知識豊富なテキスト、ゲームのNPC、ツール(関数)開発など、様々なシナリオでの合成データ作成が容易になると実験で示されました。

以下で詳しく紹介します。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について


■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






PAGE TOP