ドキュメントとコードの食い違いをLLMで検出する方法

ソフトウェア開発の現場でよく見る光景があります。仕様書に書いてあることと、実際のコードの挙動がちょっとズレている。説明には「大文字小文字を区別しない」と書かれているのに、実装は区別している。こういう小さな違和感は、ライブラリを使う人を混乱させ、やがて新しいバグの温床になります。

人間が目視で全部チェックするのは現実的ではありません。では機械に任せればいいかというと、そう単純でもありません。LLMに「このドキュメントとコード、合ってますか」と聞くと、同じ質問を少し言い換えただけで答えが変わる程度には不安定です。

ここに興味深いアプローチが最近出てきました。LLMの揺らぎを根性でねじ伏せるのではなく、仕組みで抑え込もうという発想です。