本記事では、AIが生成したコードや修正パッチなどの成果物を、LLM（AI自身）を使ってより正確に評価するための新たな研究を紹介します。

AIによるコード生成が普及する一方で、その品質や正確性をどう評価するのかが課題になっています。今回取り上げる研究では、人間の判断に近づけるために複数の評価視点を組み合わせる工夫がされています。

AIによるソフトウェア開発を実際に導入・検討しているエンジニアやビジネス担当者に役立つ可能性のある情報です。

背景

生成AIがソフトウェア開発の現場に入り込む場面が増えています。
コードの断片やバグ修正の提案、関数の要約といった作業が、人の手を借りずに自動で出力できるようになってきました。

開発効率が向上する一方で、誰もが気になるのは「その内容は本当に正しいのか」という点です。

実際にどの程度正しいのかを確かめるには、評価の仕組みが必要です。
人が直接チェックするのが一番確実ですが、大量の出力に目を通すには時間もコストもかかります。
もう少し規模に強い方法としては、Pass@kのようなテストベースの自動指標も使われています。
ただ、Pass@kのような指標を活用するには、事前に多くのテストケースを準備しておく必要があり、それが整っていないタスクも少なくありません。

（Pass@kとは、テストをk回試行してどれくらい通るかを測る指標です）

そのため、自動的に、かつ人の判断と近い精度で評価してくれる仕組みが求められいます。

そこでLLMに判定を依頼する「LLM-as-judge」が注目されています。しかし、まだ発展途上です。たとえばLLMに評価スコアを直接つけさせる場合は、多様な観点をどう実装するかが課題になります。

本記事では、LLMを使った評価でありながら、より人間に近い信頼性を目指す新たな枠組みを紹介します。人手評価と自動評価のギャップを埋める方法として、実務でも応用できる可能性が見込まれます。