次回の更新記事:ハーネス・エンジニアリングとは? AIエージェント…(公開予定日:2026年04月16日)
AIDB Daily Papers

メタ・ハーネス:LLMシステムのためのエンドツーエンド・ハーネス最適化

原題: Meta-Harness: End-to-End Optimization of Model Harnesses
著者: Yoonho Lee, Roshen Nair, Qizheng Zhang, Kangwook Lee, Omar Khattab, Chelsea Finn
公開日: 2026-03-30 | 分野: LLM 機械学習 検索 エージェント 最適化 プロンプト テキスト 自動化 システム コーディング

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • LLMの性能はモデルだけでなく、情報管理・検索・提示を決定するハーネスにも依存する。
  • Meta-Harnessは、過去の候補のソースコードや実行履歴にアクセスし、ハーネスの自動設計を可能にする。
  • テキスト分類、検索拡張型推論、エージェントコーディングで、既存システムや手動設計を上回る性能を示した。

Abstract

The performance of large language model (LLM) systems depends not only on model weights, but also on their harness: the code that determines what information to store, retrieve, and present to the model. Yet harnesses are still designed largely by hand, and existing text optimizers are poorly matched to this setting because they compress feedback too aggressively. We introduce Meta-Harness, an outer-loop system that searches over harness code for LLM applications. It uses an agentic proposer that accesses the source code, scores, and execution traces of all prior candidates through a filesystem. On online text classification, Meta-Harness improves over a state-of-the-art context management system by 7.7 points while using 4x fewer context tokens. On retrieval-augmented math reasoning, a single discovered harness improves accuracy on 200 IMO-level problems by 4.7 points on average across five held-out models. On agentic coding, discovered harnesses surpass the best hand-engineered baselines on TerminalBench-2. Together, these results show that richer access to prior experience can enable automated harness engineering.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事