冒頭を聴く（高品質音声）約1分
速度:
全文の音声はプレミアム会員限定です。
AIエージェントの運用コストが、想定より速く膨らんでいます。長い推論、増えていくツール呼び出し、そして毎ターン丸ごと再送される会話履歴。性能を「トークンの量」で買う開発スタイルが、気づけば請求書の額を増やしています。APIでモデルを使っている方なら頭が痛い課題です。
ところが、使うモデルを一切変えずにコストを4割下げられた、という検証結果があります。変えたのは、モデルを取り囲むソフトウェアだけ。しかもその削減幅は、最も高価なモデルから最も安価なモデルへ乗り換えたときの節約すら上回っていました。モデルの差よりもハーネスの差なんです。
「どのモデルを使うか」よりも「どう動かすか」のほうが影響が大きい。なぜ、そうなるのでしょうか。詳しく見ていきます。
