プロンプトログをもとにLLMの使い方の変化を読み解く

本記事では、ユーザーがLLMとの対話にどのように慣れ、表現やリクエストのスタイルをどのように変化させていくのかを分析した研究を紹介します。

プロンプトログを構造的に分解し、大規模なチャットデータをもとに行動の変化を可視化する手法が取られています。LLMの使い方が時間とともにどう成熟していくのか、またモデル更新がユーザー行動に与える影響にも注目されています。

プロンプト設計や対話UXを見直したい実務者にとって、ヒントになる視点が含まれています。

背景

決まった操作を前提としたインターフェースとは違い、LLMとの対話は自然な言葉で自由にやり取りできる新しいスタイルを生み出しています。ユーザーは自分の言葉で問いかけたり依頼したりでき、より柔軟な使い方ができます。

ただ、自由なやりとりだからこそ理解が難しい部分もあります。

ユーザーはモデルとのやり取りを通じて、どのように「振る舞い」や「期待」を調整しているのでしょうか。普段の会話のような言い回しを、どれくらい自然に使っているのでしょうか。そして、モデルがアップデートされたとき、ユーザーの話し方にも変化が起きるのでしょうか。

これまで、ユーザーがどんな目的でLLMを使っているか、どんなタスクに取り組んでいるかといった内容は調べられてきた一方で、ユーザーがどんな言葉を使い、どのように表現を工夫しているのかといった言語的な特徴には、あまり目が向けられてきませんでした。

そこで本記事では、ユーザーの言い回しや伝え方に焦点を当て、時間の経過とともにそれがどのように変化するのかを詳しく分析している取り組みを取り上げます。対話の中に現れる表現のパターンや、背後にある意図の変化を丁寧に読み取ろうとする試みになっています。

ユーザーとLLMの関係を探る前に知っておきたい研究たち

ユーザーがどのようにLLMと対話を重ね、どんな言葉を選び、どう変化していくのかを考えるうえで、関連する研究の流れを簡単に振り返っておきます。

チャットログから見えてきた利用の実態

WildChatやChatbot Arenaといった大規模な対話データセットが登場したことで、実際のユーザーがLLMとどのようにやり取りしているかを分析する研究が一気に進みました。何百万件ものチャット記録が含まれており、LLM研究の土台として活用されています。

ただし、これらの研究は主に「どんな目的で使われているか」という観点からの分析が中心です。たとえば、文章作成やコーディング、質問応答といったタスク分類や、ユーザーの価値観、ジェイルブレイク（モデルの制限回避行動）に関する分析などが多く見られます。

入力の工夫や使いやすさに目を向けた研究

LLMとのやり取りは、タスクの中身だけでなく、入力のしかたや操作体験にも左右されます。ヒューマンコンピューターインタラクション（HCI）の分野では、プロンプトの書き方やUI全体の設計など、ユーザーの体験そのものに注目する研究も増えてきました。使いやすさや自然さといった観点から、LLMとの関係を見直す動きです。

トーンや役割設定に注目したアプローチ

これまでの研究の中には、会話の「トーン」や「役割設定」が出力に与える影響を調べたものもあります。こうした研究は、LLMをより良く動かすための設計・調整を目的としたものが多く、ファインチューニングやシステム改善といった技術的な観点が中心でした。

今回の研究が新しい理由

今回紹介する研究は、既存の大規模なチャットログを丁寧に掘り下げながら、これまでとは違った角度から分析を進めている点が特徴です。「ユーザーがどのようにリクエストを作っているか」という視点に立ち、表現が時間とともにどう変わっていくのかを追いかけています。

ユーザーのリクエストをどう捉えるかを丁寧に考える

研究者たちは、ユーザーのリクエストをもっと細かく構造的に捉える取り組みに挑戦しました。LLMに送られるメッセージの中には、見た目以上に多くの情報や意図が詰まっています。そこを丁寧に分解していくことで、対話の成り立ちをより深く理解できるのではないか、という試みです。

ユーザーのメッセージにはどんな要素があるのか

LLMへの入力は一見シンプルに見えても、実はさまざまな構成要素が含まれています。たとえば、「こんな文章を作ってください」と依頼するケースでは、依頼の背景にある情報（メールの話題や課題文など）がユーザーによって添えられることがあります。さらに、「あなたはライターです」と役割を指定したり、「明るくポジティブなトーンで」といった出力条件を加えたりすることもあります。

「どのような言葉でリクエストが構成されているか」という視点、とくに言葉の使い方や文脈による意味の違いに立脚した分析が必要です。

どう分析すれば比較しやすくなるのか

研究チームはまず、ユーザーのリクエストを構造的に分析・比較できる枠組みを設計しました。

分析対象となるデータ

使用したのは、WildChatという大規模対話データセットのうち、ユーザーが対話の最初に送った317,373件の入力です。やりとりの起点となるこの部分には、ユーザーの素の意図や期待が最も強く現れやすいと考えられています。

まずはリクエストか質問かを見分ける

最初のステップでは、メッセージが「リクエスト」なのか、それとも「単純な質問」なのかを区別する必要がありました。たとえば「アメリカの第3代大統領は誰ですか？」のような質問は、答えが決まっており、会話の展開や工夫の余地があまりありません。こうした質問と、もっと創造性や構成力が求められるリクエストとでは、性質が大きく異なります。

作業者は、各メッセージを丁寧に読み取り、分類を行いました。「リクエスト」「質問」「両方」「どちらでもない」の4つに振り分けることで、性質の違いを明確にしています。

メッセージの4つの構成要素を定義する

リクエストに分類されたメッセージについては、さらに以下の4つの要素に分解して分析が進められました。

リクエスト内容（[R]）
ユーザーがLLMに実行してほしいタスクや達成したいゴールそのもの。

コンテキスト（[C]）
リクエストを補助する背景情報や素材。たとえば、要約してほしい記事本文など。

役割指定（[role]）
LLMに対して「あなたは○○です」と指示するような役割の設定。

表現形式
上記3つ以外の部分で、リクエスト全体を包み込む言い回しやトーンなど。

すべての単語はこの4カテゴリのいずれかに分類され、重複はありません。

手作業だけでは追いつかないので自動化も導入

数十万件のメッセージをすべて人手でラベル付けするのは現実的ではありません。そこで研究チームは、人間の判断とモデルの自動処理を組み合わせた仕組みを導入しました。

人とLLMの協働

人間の作業者、高精度なLLM（GPT-4o）、そして学習可能な小型モデル（Qwen2.5-14B）がそれぞれの役割を担います。

まず、人間が少数の入力にラベルを付け、「正解データ」として両方のLLMに学習させます。そのあと、新しいデータに対して両モデルが予測を行い、結果が一致した場合はGPT-4oの判断を採用。意見が割れた場合には、人間が再確認を行う仕組みです。

この繰り返しによって、少しずつラベル付きデータが蓄積され、やがては小型のLLMだけで安定した自動処理ができるようになります。

実際の運用では、762件のデータに対してこのプロセスを3周実施し、形式エラー率は0.5％未満に抑えられました。自動化と信頼性の両立が確認されたことになります。

ユーザーの表現を深掘りする新たな視点

ユーザーのリクエストを構造的に分析するための枠組みを実際のデータにあてはめた結果、LLMとの対話にはこれまで見過ごされていた特徴が多く含まれていることが明らかになりました。

どのようなデータで分析を行ったのか

今回の分析では、2023年4月から2024年5月のあいだに集められた約21万件のユーザー入力が用いられました。対象は約1万9千人のユーザーで、複数のバージョンの言語モデルが利用されていた期間を含んでいます。

継続利用ユーザーに絞った理由

表現の変化を捉えるには、一定期間以上継続してLLMを使っているユーザーのデータが重要になります。そのため、以下の2つの条件を満たすユーザーが選ばれました。

• 最初の利用から最後の利用まで14日以上の期間がある
• 10回以上の対話を行っている

この条件に該当する2,092人のユーザーから、約6万件のリクエストが抽出されました。

人間同士の会話との違いを見ていく

LLMとのやり取りが、人間同士の自然な会話とどう異なるのかを探るため、既存の対話データとの比較も行われました。

比較に使われた人間の会話データ

比較対象には、百科事典の編集者や技術フォーラムの参加者が行ったやり取りが用いられています。いずれもリクエストが含まれる場面で構成されており、自然な会話の特徴を含んでいます。

表現スタイルに現れた差異

分析の結果、LLMに向けたリクエストでは、次のような傾向が見られました。

• 言い回しが簡潔で、やわらかさを加える表現が少ない
• 語彙の幅が狭く、似たような言葉の繰り返しが多い

この傾向は、直接的な命令だけでなく、丁寧に話しかけるような表現でも同様に見られました。リクエストの内容とは関係なく、LLMとの対話には共通した言語の使い方があると考えられます。

ユーザーの言い方のクセを分類する

リクエスト表現の全体像をつかむため、研究チームは分類と可視化を進めました。

会話を意識しているかどうかで分ける

まず、ユーザーの表現を次の2つに大別しました。

• 会話的なもの（人称の使用、丁寧な語調、あいさつなど、他者との会話を前提とするスタイル）
• 非会話的なもの（リクエストとその背景情報のみで構成され、会話らしさが見られないスタイル）

この分類をもとに、構成の複雑さや表現の工夫を加味して、全体を11のタイプに整理しています。

表現を分類するための基準をつくる

データ内でも頻出する代表的な表現を40種類選び、これを分類の基準点としました。新しい表現が出てきても、既存のパターンと比較することで安定した分類が可能になります。

表現スタイルを2次元空間に並べてみる

ユーザーの言い回しを視覚的に捉えるために、すべてのリクエストを数値化し、2次元の空間に配置する処理が行われました。

可視化の手順

• テキストをベクトル化し、1024次元の数値表現に変換
• それを2次元に圧縮し、散布図として配置
• リクエスト内容や背景情報などはプレースホルダーで統一し、表現の仕方だけを比較

それぞれの点は長期利用ユーザーを表しており、点の大きさはそのユーザーが生成したリクエスト数に応じています。

横軸と縦軸が意味すること

• 横軸は、リクエストと背景情報の構成比を表しています。左寄りはリクエスト中心、右寄りは背景情報中心、中央は両者のバランス型です。
• 縦軸は、表現の会話らしさを示しています。下の方が自然な対話に近く、上の方がツール的な言い回しになります。

ユーザーの行動は時間とともにどう変わるのか

これまで構築された分析の枠組みをもとに、研究チームはユーザーの表現や行動が時間とともにどう変化していくかに着目しました。個人単位の変化と、ユーザー全体に見られる傾向の両方から、LLMの使い方がどう発展していくかを探っています。

個人の使い方に見られる変化

リクエストの表現はどう変わっていくのか

長期にわたり継続して利用しているユーザーのデータは、使い方がどのように洗練されていくかを知る手がかりになります。分析では、同じユーザーの1回目と20回目のリクエストを比較し、表現のスタイルにどのような変化が見られるかを可視化しました。

最初期のリクエストでは、簡潔な依頼文が多く、リクエスト部分のみで構成されたものや、単純な並列表現が目立ちました。使い始めの段階では、システムの反応を試すような基本的な入力が多い傾向にありました。

時間が経つにつれて、ユーザーは背景情報や具体的な条件を含めた、より複雑な構成に移行していきました。複数の目的を含んだ依頼や、前提を丁寧に説明するようなスタイルが増えています。

研究チームはこの変化を「見せる段階から、伝える段階への移行」と表現しており、利用シーンが変わっても、表現の変化には共通するパターンが見られると考えられています。

表現の移り変わりを可視化する

2次元の空間にプロットされたデータを使えば、個人ユーザーごとの変化を軌跡として表すことができます。6人のユーザーを例に観察したところ、それぞれに異なる動きが見られながらも、視覚的にたどれる一貫したパターンが確認されました。

表現は慣れるほど定着していくのか

ユーザーが使い慣れてくると、表現の仕方が安定してくるのではないかという仮説のもと、テキストの類似度をもとに変化の度合いが測定されました。

新しいリクエストと直前の入力とのあいだにどれくらいの差があるかを数値化し、その推移を見ることで、表現が固定化していく傾向を確認しています。

実際に、時系列に沿って並べたデータでは、リクエストの表現が次第に似通ってくる傾向が見られました。一方、同じデータを無作為に並べ直した場合には、そのような収束は確認されませんでした。

この傾向は直前のリクエストとの比較で最もはっきりと現れ、過去の3件、5件と比較対象を増やすと、類似度の変化はやや緩やかになりました。直近のやり取りが新しい入力に強く影響を与えることが示唆されています。

ユーザー全体の傾向はどう変わっていくのか

表現の多様性から読み取れる変化

個人ごとの分析に加えて、ユーザー全体の使い方にも変化が見られるかを探るために、語彙の広がりを測る指標が活用されました。これは、ある時点におけるリクエストの表現にどれだけバリエーションがあるかを数値化したもので、多様性が高ければ多くの表現が使われ、低ければ表現が固定化していることを意味します。

時期によって変わる傾向

分析期間を通じて、いくつかの特徴的な変化が見られました。

• サービス初期には、特に長期利用者となるユーザーで表現の多様性が高く、模索的な使い方が多く見られた
• 時間が経つにつれて多様性は一定の範囲に収まり、安定期に入っていった
• 新しいモデルが提供されるタイミングで、多様性が再び広がる動きが確認された
• 特に2024年3月には、長期利用者・一般利用者ともに多様な表現が使われるようになった

要するに新しい技術が導入されたときには、使い方そのものに変化が起こることが示されています。

モデルの変化が与える影響は単純ではない

モデルが切り替わったタイミングで表現の多様性に変化が見られたことから、LLMのアップデートがユーザー行動に与える影響にも注目が集まりました。

継承される使い方

同じ系列に属するモデルでは、以前の使い方がそのまま受け継がれているような傾向が見られました。モデルが新しくなっても、ユーザーは従来のスタイルを引き続き使っている可能性があります。

モデル間の相互作用

複数のモデルが並行して利用可能な環境では、それぞれのモデルが他方の使い方に影響を与えている可能性も観察されました。新しいモデルが登場することで、既存のモデルに対する使い方が変わる場面も確認されています。

経験によって変わる捉え方の違い

長く使っているユーザーとそうでないユーザーでは、モデルに対する印象や使い方が異なっている様子も見られました。とくに、利用初期と最終期では言い回しやリクエストの組み立て方に明確な差があり、これはモデルそのものの理解が経験によって深まっていくことを示唆しています。LLMと人間の関係性の複雑さを浮き彫りにしています。

まとめ

本記事では、LLMとの対話におけるユーザーの表現がどのように構成され、時間とともにどう変化していくのかを分析した研究を紹介しました。
ユーザーのリクエストは単なる命令文ではなく、背景情報や役割指定、語調など複数の要素から成り立っていることが明らかにされました。
長期利用を通じて表現が洗練されていく過程や、モデルの更新がユーザー行動に与える影響も可視化されています。
LLMとの対話が固定的なやり取りではなく、継続的に変化しうるプロセスであることは、プロンプト設計やUI改善において示唆を与える内容です。
日々の対話ログを振り返りながら、どのように伝えるかを見直すことで、目的に合った使い方をより確かなものにできそうです。