Googleの研究者たちはAPI経由でOpenAIのモデルにおける隠れ次元数を特定できることを示し、OpenAIがそれを受け対策を施したことを論文で報告しました。
モデルのパラメータサイズや計算効率を見積もることが可能だった事実を意味しています。
“Stealing Part of a Production Language Model”
■背景
OpenAIなどの大手企業が提供するモデルの内部構造（重みや詳細なアーキテクチャ）は、競争上の理由から非公開となっています。
ただしAPIを通してモデルの内部情報が盗み出されるリスクはあると考えられてきました。
■今回の発表内容
– APIへのクエリを通じて、Transformerモデルの埋め込み投影層を直接抽出する新しい攻撃手法を開発
– GPT3シリーズの小モデルの隠れ次元数をわずか20ドルで特定（1024次元と2048次元）
– gpt-3.5-turboモデルも、2,000ドル未満で同様の抽出が可能であるとした
→OpenAIはこれを受けセキュリティ施策を実行し、現在はこの攻撃は効かなくなっている
■今後の展望
– 本研究で示された攻撃手法は、他の大規模言語モデルにも適用可能であるかもしれない
– 堅牢なAPI設計がますます重要となる
– 一方でモデルの透明性を高めることも推奨される
