LLMの出力をJSON形式などに構造化すると「思考の柔軟性」や精度に影響することが示唆される

本記事では、LLM生成テキストの構造化が性能に与える影響の調査を紹介します。JSONやXMLなどの標準化されたフォーマットで出力を生成するとLLMの能力は変化するのでしょうか？

研究者たちは、構造化された出力を行いつつLLMの推論能力のバランスを探ることも目的としています。LLMの産業応用においては構造化された出力は魅力的であるため、一貫性と性能のトレードオフを理解するのは重要なことです。

背景

文脈内学習や指示追従などの機能により、LLMは多くのダウンストリームタスクに適用できるようになりました。しかし、産業応用においては、LLMの出力が標準化されたフォーマットに従わないことが大きな障壁となってきました。標準化されたフォーマットとはすなわち、テキストを整理するための予め定められた構造のことです。

そこで、”構造化生成”が使用されるようになりました。構造化生成とはJSONやXMLなどの標準化されたフォーマットで出力を提供する手法です。プロンプトで指示したり、JSON mode（OpenAIやGeminiが提供）を実行するのが方法です。

しかし、これまである重要な疑問が見過ごされていました。それは、出力の構造化が生成コンテンツの質にどのような影響を与えるかという点です。言い換えれば、フォーマット制限がLLMのパフォーマンスを低下させる可能性があるかどうかは、ビジネスに大きな影響を与える問題であるにもかかわらず、十分に調べられていませんでした。

結果として、構造化出力とLLMの性能はトレードオフの関係にある可能性が示唆されています。以下で詳しく紹介します。