LLMの出力不安定性は、同義文の内部表現の乖離が原因

京都大学の研究チームが、LLMが同じ意味のプロンプトでも言い回しによって回答をコロコロ変えてしまう現象を数学的に解き明かしました。

タイポ（打ち間違い）が最も出力を揺らしやすく、次いで表記ゆれ。それらに対して影響が最も小さいのが言い換えだといいます。

LLMは意味が同じ文ほど逆に内部表現を引き離す性質があり、これが出力のブレを抑えきれない原因だと突き止めたそうです。

なお、質問本文そのものよりも、それを包むプロンプトテンプレートの方がより出力を左右していることも明らかになりました。