以前は、「LLMには丁寧に聞いた方が良い」といった調査結果もありました。
しかし今のLLMで改めて丁寧さによる回答の質を比べたところ、もはやほとんど影響がないことが分かったそうです。
研究者らは、質問を「とても丁寧」「普通」「とても失礼」の3つのレベルに分けて実験。
すると、哲学や法律などの分野では丁寧な聞き方の方が”少し”回答の質がよくなったものの、平均的に見るとあまり関係がなかったようです。
中でもGeminiは聞き方の丁寧さには全く影響されなかったとのこと。
なお直近では、丁寧に話しているユーザーはその分より多くのトークンを使用しているため、それらの電気代を合計すると巨額になるという発表もされていました。
さまざまな側面から見て、「性能を上げたいから丁寧に聞こう」と無理に気を遣う必要はなくなったと考えてもいいかもしれません。
📄 参照論文
Does Tone Change the Answer? Evaluating Prompt Politeness Effects on Modern LLMs: GPT, Gemini, LLaMA
所属: Northwestern University, Duke University, Carnegie Mellon University