AIDB Daily Papers
LLMの思考プロセスを暴く:推論トレースの露呈とその活用
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- LLMの推論過程を外部に露呈させる手法「REP」を提案し、その有効性を検証した。
- 従来の秘匿化されたインターフェースでは得られなかった、有用な推論監督信号を抽出可能にした点が重要である。
- REPを用いることで、モデル間の能力転移が大幅に向上し、より高性能なモデルの育成に貢献することが示された。
Abstract
Reasoning traces have become a valuable form of learning signals for improving and transferring the capabilities of large language models. In particular, detailed traces can help distill reasoning behavior from stronger teacher models into weaker student models. The value of capability transfer has motivated many deployed systems with reasoning models to hide raw internal traces and expose at most summaries and answers to users. As a result, we ask whether such interface-level trace hiding prevents users from obtaining useful reasoning supervision through prompting. We study this question with Reasoning Exposure Prompting (REP), a lightweight in-context elicitation method that uses shadow-model-generated demonstrations wrapped in auxiliary code-like formats to raise user-visible reasoning traces from a victim model. Across the common reasoning dataset, different victim models, and different student model distillation, REP substantially increases similarity between exposed and REP-conditioned internal traces while preserving useful reasoning signals.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: