LLMの困惑は人間の「読みにくい」と相関

研究者たちは、人間がコードを読んでいるときの脳波を測定し、脳が「このコード分かりにくい」と反応している箇所と、LLMが「このトークンは予測しにくい」と困惑している箇所に相関があることが分かりました。

これはLLMと人間が共同でコードを書く際、LLMが人間の混乱に同調できる可能性があることを示唆しています。

将来的にはLLMが人間にとって分かりにくいコードを事前に指摘したり、より理解しやすい形に自動修正したりするツールの開発が期待されています。

なお、ここではLLMにとってのパープレキシティ（予測困難度）を困惑度と表現しています。