プロンプト開発を加速するChainForge

プロンプトの仮説検証プロセスを高速化するプラットフォーム『ChainForge』が誕生しました。
ハーバードの研究グループによる開発です。

○ Ian Arawjo et al., “ChainForge: A Visual Toolkit for Prompt Engineering and LLM Hypothesis Testing”

LLMのプロンプトエンジニアリングは複雑であり、仮説検証を繰り返して理解し改善する必要があります。
ドメインごとに知見は深められ、共有されているものの、すでに各領域のクローズドな世界になりつつあります。
そこで研究者らは統一的なオープンソースプラットフォームを作成しました。

■プラットフォームの概要
ChainForgeでは主に以下の3つが行えます。
① LLMモデルを選択
② プロンプトテンプレートのデザイン
③ 仮説検証（効果や堅牢性など）
これらの結果を自身の記録として保存でき、他者と共有することができます。

■使い方
① 自身のローカルデバイスにインストール
（またはWebサイトで縮小版を実行）
② ローカルアドレスにブラウザでアクセス
③ APIキーを設定
④ プロンプトを設計
⑤ 評価指標を設定
⑥ 実験の実行
⑦ レスポンスを比較、視覚化
⑧ 結果の共有
⑨ データのエクスポート

このプラットフォームは公開から数ヶ月で多くのユーザーに利用され、実世界での有用性が実証されています。
また、反復的に検証を行うことで精緻なプロンプトエンジニアリングが行えると評価されています。