カリフォルニア大学などの研究者らは、ChatGPTが質問に対する回答を選ぶ際に、プロンプト内の情報の順序に影響を受ける「初頭効果」が存在するかどうかを調査しました。実験の結果、さまざまなタスクにおいて初頭効果が確認されました。

背景

ChatGPTの能力は、人間のテキストに由来しています。そのためChatGPTが人間の認知バイアスも継承している可能性が考えられています。

認知バイアスの一つに「初頭効果」があります。初頭効果とは、先頭に提示された情報を、中央や末尾の情報よりも良く記憶する傾向のことです。人間の注意力や記憶システムに関連している現象だと考えられており、人間関係で言えば初対面の印象がその後に大きく影響すると言われる理由です。

なお広告や検索エンジンにおいても、人間は実際の関連性に関わらず、上位に表示されたアイテムをクリックすることが多くなります。このように初頭効果は人間の広範な行動に影響を与え、不公平な判断を導く可能性があります。もし機械学習モデルにおいても初頭効果が同様に存在すれば、パフォーマンスの低下につながる恐れがあります。

そこで研究者らは、ChatGPTにおける初頭効果の有無を明らかにするべく調査を行いました。ChatGPTが回答の選択肢の中で、先頭に提示された情報を選択する傾向があるかどうかを調べました。

本研究の目的は、ChatGPTの振る舞いをより深く理解し、信頼性の高いChatGPTベースのソリューションを構築するための知見を得ることでした。