JSONなどの構造化出力はLLMの質にどう影響するか

本記事では、構造化出力がLLMの質にどう影響するかを取り上げます。
出力の形式を変えることで、モデルのふるまいがどう変わるのか。タスクや指示の内容によって、その影響は変わるのか。
こうした因果関係を見ていきます。

背景

LLMの出力をJSON、XML、YAMLなどの決まった形式にそろえて返す「構造化出力」が注目されています。

モデル単体で使う時代から、複数のモジュールを組み合わせた複雑なシステムで使用する時代に変化してきているためです。

ただ、構造化出力が自由な文章形式と比べて、出力の質にどのような影響を与えるのかは、まだはっきりしていない面があります。事実性が高まるという報告もあれば、推論が弱くなるという指摘もあります。

これまで行われた研究の多くは限られた分野やタスクを対象としており、結果を広く当てはめるには注意が必要です。プロンプトの設計も揃っておらず、単純なスコアの比較だけでは見落としもあると考えられます。

そこで本記事、複数の推論タスクに対して、構造化出力がLLMのふるまいにどう影響するかを、原因と結果の関係に注目して丁寧に検証した事例を取り上げます。