本記事では、コードのフォーマットがLLMの処理にどのような影響を与えるのかを検証した研究を紹介します。

一見すると無関係に思える整形ルールが、性能やコストにどの程度関わっているのかが丁寧に調べられています。実験では、複数の言語やモデルを対象に、性能の変化やトークン削減の効果が詳しく検証されました。
普段あまり意識しないコードの見た目が、LLMとの付き合い方にどう関係するのかが見えてきます。

背景

LLMによるコード生成は便利で、すでに多くの現場で使われ始めています。

ただし商用APIでは、やり取りするトークンの量によって料金が決まります。そのため、なるべく無駄なトークンを減らしたいという意識が自然と生まれます。

ここでひとつ疑問が浮かびます。人間にとってコードは整っているほうが読みやすいですが、LLMにとってもそうなのでしょうか。
LLMはコードを視覚的に見るわけではなく、トークン列として処理します。整形によって見た目が整っても、LLMにとっては不要な情報かもしれません。

本記事では、この問いを確かめるために行われた実験の結果を紹介します。