LLMと言語理解エンジン分離で推論精度向上

LLMの役割を「言語理解エンジン」に限定し、複雑な判断は論理で動くシステムに委ねることで、LLMの実用上の最大の弱点である「ルール適用の一貫性のなさ」と「推論過程の不透明さ」を原理的に解決できるとの提案。

個々の条件を正しく抽出することを得意とするLLMも、それらを組み合わせて最終判断を下す段階では誤りやすいと考えられています。

そのため、たとえば法律など「こういう条件を満たせばこう判定する」という明確なルールが存在する領域では、最終的なチェックは別のシステムが行うことが重要であるとのこと。

まずはLLMに「どんな要素があるか」を抽出させ、次に「その要素がどういう状態か」を判定させ、最後に別のシステムが機械的にルールを適用するという三段階方式が良いそうです。

実験では、法律の証拠判定、科学論文の分析、臨床試験の患者選定で検証されました。
その結果、判定ルール自体が極めて単純だとしても外部の論理検証が大きな効果を発揮することが分かったそうです。