LLMは常に知識が更新されるわけではないので、入力プロンプト側を最新の状態にする手法『FRESHPROMPT』（フレッシュプロンプト）が考案されました。
ChatGPT（GPT-4、GPT-3.5）の回答品質を検証したところ、性能がさまざまな側面から大幅に向上したとのことです。
Google、マサチューセッツ大学、OpenAIの研究グループによる発表です。
@ Tu Vu et al., “FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation”
論文によると、LLMは一度学習されると（しばらく）アップデートされないため、一方で変化し続ける世界に素早く適応できない性質を持つとのことです。
現状、ブラウジング機能を駆使しても、効果は限定的です。
そこで、入力プロンプト側を最新の情報で更新して問題に対処する手法『FRESHPROMPT』が考えられました。
■『FRESHPROMPT』の主なポイント
① ユーザーの指示/質問プロンプトに関連する最新情報を検索エンジンから取得
② 検索結果から情報を抽出
③ 取得した情報でリストを作成
④ 情報を整理してプロンプトに反映
■検索結果から抽出される情報
テキスト、出典、日付、タイトル、ハイライトされた単語など
■アップデート後のプロンプトの特徴
① 取得した最新情報に基づいた推論をモデルに実行させる
② モデルがタスクを理解し、適切な出力を生成するために、入出力の例を示す
■検証された性能
① GPT-3.5とGPT-4は、顕著な精度向上を達成した
② 特に速く変化する現代的な知識に関する質問で顕著な改善が見られた
③ ハルシネーションも大幅に減った
④ 学習済みの年代における知識に関する質問においても精度が向上した
⑤ 他の検索エンジン拡張手法に比べても優位性が確認された
ただし、検索エンジンの能力や、検索で得られる知識の正確性に依存した手法であることに注意が必要です。
