本記事では、手元にある文書をもとに自動的に評価ベンチマークを作成する仕組みを紹介します。LLMの活用が広がる中、モデル単体だけでなく、自分の業務やシステムに統合した際の性能を適切に評価したいというニーズが高まっています。しかし、一般的なベンチマークでは、用途に特化した細かな性能評価が難しく、独自の評価セット作成には専門的な知識や手間がかかります。この課題に対して低コストかつ手軽な評価セット作成を可能にする新しい方法が提案されています。

背景

LLMは、さまざまな仕事に活用されるようになってきています。ただ、実際にLLMを業務やサービスに組み込んで使おうとすると、単にモデルの基本的な性能だけでなく、「自分たちのシステムに統合したときの性能はどうか」「設計したプロンプトや検索機能（RAG）との組み合わせで十分な精度が出ているか」といった、より実践的な評価が必要になってきます。

現在、モデルの性能を評価する一般的な方法として「ベンチマーク」と呼ばれる質問セットが広く使われています。ベンチマークとは、モデルやシステムが質問にどれだけ正しく答えられるかを試すための標準的なテストセットです。ただ、既存のベンチマークはモデル単体の性能を評価するものが中心で、実際のアプリケーションや具体的な業務シナリオでの性能を十分に評価するのは難しい場合があります。

たとえば、企業が独自に設計したシステムプロンプト（LLMに与える命令や設定文）や、特定の情報を検索して回答する仕組み（RAG）などを活用している場合、既存の一般的なベンチマークでは現実の性能を評価しきれないという問題があります。特定の業務分野に特化したエージェント型システムや、複雑なワークフローを組み合わせている場合にはなおさら、独自に設計された評価方法が求められます。一方で、基盤モデル自体の性能をシンプルに評価したい場合にも、もちろん独自の評価セットは有効です。

しかし、独自の評価ベンチマークを作るには、専門的な知識や作業が必要で、時間やコストがかかるため、これまで一部の専門家や大企業に限られてきました。

この課題を解決するために、今回研究者らは、手元にある文書を入力するだけで、その内容に基づいて、自分の用途に合った独自の評価ベンチマークを自動で作成できる仕組みを考案しました。PDFやHTMLなどの文書を用意してアップロードすれば、自動的に質問セット（評価用のQ&Aペア）が生成されます。

技術的な仕組みそのものは複雑ですが、ユーザーに求められる操作は簡単で、専門的な知識もほとんど必要ありません。短時間かつ低コストで、自社独自のプロンプトや検索機能、ワークフローなども含めたアプリケーション全体の性能を評価できる設計となっています。

評価作業を、専門家や大企業だけでなく、誰もが手軽に取り組めるものに変えることを目指した取り組みです。

以下で詳しく紹介します。