プロンプトログをもとにLLMの使い方の変化を読み解く

本記事では、ユーザーがLLMとの対話にどのように慣れ、表現やリクエストのスタイルをどのように変化させていくのかを分析した研究を紹介します。

プロンプトログを構造的に分解し、大規模なチャットデータをもとに行動の変化を可視化する手法が取られています。LLMの使い方が時間とともにどう成熟していくのか、またモデル更新がユーザー行動に与える影響にも注目されています。

プロンプト設計や対話UXを見直したい実務者にとって、ヒントになる視点が含まれています。

背景

決まった操作を前提としたインターフェースとは違い、LLMとの対話は自然な言葉で自由にやり取りできる新しいスタイルを生み出しています。ユーザーは自分の言葉で問いかけたり依頼したりでき、より柔軟な使い方ができます。

ただ、自由なやりとりだからこそ理解が難しい部分もあります。

ユーザーはモデルとのやり取りを通じて、どのように「振る舞い」や「期待」を調整しているのでしょうか。普段の会話のような言い回しを、どれくらい自然に使っているのでしょうか。そして、モデルがアップデートされたとき、ユーザーの話し方にも変化が起きるのでしょうか。

これまで、ユーザーがどんな目的でLLMを使っているか、どんなタスクに取り組んでいるかといった内容は調べられてきた一方で、ユーザーがどんな言葉を使い、どのように表現を工夫しているのかといった言語的な特徴には、あまり目が向けられてきませんでした。

そこで本記事では、ユーザーの言い回しや伝え方に焦点を当て、時間の経過とともにそれがどのように変化するのかを詳しく分析している取り組みを取り上げます。対話の中に現れる表現のパターンや、背後にある意図の変化を丁寧に読み取ろうとする試みになっています。