LLMを一回呼ぶだけでは終わらない仕組みが、いまや当たり前になりました。まず関連する文書を探し、要点をまとめ、考えて、最後に答えを書く。こうして何段もの工程をつないだAIを動かしてみると、なぜか答えがうまく合いません。
直したいのはやまやまですが、困ったことに、長い工程のどこでつまずいたのかが見えません。多くの人はとりあえずプロンプトの文章を書き直しますが、それは暗闇の中で手探りするのに似ています。直すべき場所が検索なのか、考える部分なのか、答えの書き方なのかも分からないまま、文言だけをいじり続けることになります。
では、どうすれば失敗した場所を正確に見つけ、最小限の手間で直せるのか。本記事で、その考え方を一つずつほどいていきます。
