LLMの均質な回答が良いか悪いかはタスクで決まる

本記事では、LLMの出力が似たようなものになりやすい現象について、それが本当に問題なのかどうかをタスクごとに見ていきます。

タスクによっては、同じ答えを返すことが望ましい場合もあれば、視点や言い回しに幅があったほうがよいこともあります。そこでタスクそれぞれに合った多様性の評価や指示の出し方を整理していきます。

その結果、実務にも応用できる工夫がいくつか見えてきました。

背景

LLMには、同じ質問に対して似たような答えを繰り返す傾向があります。たとえば、ジョークを求めると毎回同じようなものばかり返す、といった現象です。

こうした均質さが問題になるかどうかは、タスクの内容によって変わります。数学のように答えが決まっているタスクでは、一貫した出力のほうが安心です。ただ、解き方に工夫があれば、学習の助けになる場合もあります。

一方で、創作やアイデア出しのようなタスクでは、ストーリーの展開やジャンルの切り口などに幅が求められます。語彙や表現のばらつきだけでは、多様性として不十分なこともあります。

多様性を高めるための技術はさまざまありますが、どれもタスクごとの違いまでは考慮されていません。視点を増やしたり、出力のゆらぎを強めたりする方法はあっても、それが意味のある多様性かどうかまでは判断できないのが実情です。

そこで本記事では、タスクの種類ごとに均質さの度合いを測り、その緩和に取り組んだ事例を掘り下げます。