AIDB Daily Papers
適応的プロンプト構造因子分解:自己発見と最適化による構成的プロンプトプログラムのフレームワーク
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 大規模言語モデル(LLM)から信頼性の高い推論を引き出すため、APIのみで利用可能なプロンプト最適化フレームワークaPSFを提案しました。
- aPSFは、タスク固有のプロンプト構造を意味的因子として発見し、因子レベルでの介入的な更新により、サンプル効率の高い最適化を実現します。
- 複数の高度な推論ベンチマークにおいて、aPSFは既存の最適化手法を上回り、精度を最大+2.16%向上させ、最適化コストを45〜87%削減しました。
Abstract
Automated prompt optimization is crucial for eliciting reliable reasoning from large language models (LLMs), yet most API-only prompt optimizers iteratively edit monolithic prompts, coupling components and obscuring credit assignment, limiting controllability, and wasting tokens. We propose Adaptive Prompt Structure Factorization (aPSF), an API-only framework (prompt-in/text-out; no access to model internals) that uses an Architect model to discover task-specific prompt structures as semantic factors. aPSF then performs interventional, single-factor updates: interventional factor-level scoring estimates each factor's marginal contribution via validation-performance changes, and error-guided factor selection routes updates to the current dominant failure source for more sample-efficient optimization. Across multiple advanced reasoning benchmarks, aPSF outperforms strong baselines including principle-aware optimizers, improving accuracy by up to +2.16 percentage points on average, and reduces optimization cost by 45--87% tokens on MultiArith while reaching peak validation in 1 step.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: