GPT-4などに対してプロンプトのみから「新しい言葉の概念」を学習させるためのフレームワーク『FOCUS』をカリフォルニア大学などの研究者らが考案しました。
実験ではGPT-4で88.2%、GPT-3.5でも84.5%の正確さで理解させることに成功しており、従来の手法よりも高いパフォーマンスが出ています。
“SLANG: New Concept Comprehension of Large Language Models”より
■研究背景
– 人の世界には言葉はどんどん新しく出てくる一方で、LLMの知識は基本的に静的である
– 通常、新しいフレーズを正確にすぐに理解するのは難しい
■メソッド
1. 使用例（コンテキスト）とフレーズを直接入力する
2. フレーズをコンテキスト内で隠して、意味を評価させる
3. コンテキスト内のエンティティ（固有名詞や出来事など）を変更し、異なるエンティティがフレーズの解釈に与える影響を調べる
4. 上記の結果、モデルが新しい言葉の理解に至ったのかを評価する
■実験と結果
1. GPT-4/3.5で検証
2. モデルが知らないインターネットミームを教え込ませた
3. GPT-4で88.2%、GPT-3.5でも84.5%の正確さを達成した
