次回の更新記事:MetaのLLM『Muse Spark 1.1』評価報告を読み解く。コ…(公開予定日:2026年07月13日)

LLMの危険な指示への耐性、依然課題

安全性・アライメント(AIの安全性、アライメント、jailbreak、ハルシネーション対策)

📝 これは「短信」です ― AIDBリサーチチームが独自の視点で論文を紹介する、カジュアルで読みやすいコンテンツです。

研究者がFable 5とOpus 4.8に対し、何十万回もジェイルブレイク(安全装置の回避)を試した結果、定型的な小細工はほぼ完全に防がれたものの、一定の割合で攻撃が通っています。

身代金を要求するランサムウェアの作成、さらには「不審に思われない遺書の作成」、「未成年を家族や友人から引き離して 支配しやすくする手口」など、最も重いカテゴリでも突破例が確認されたと報告されています。

攻撃は数十万回試行し、成功の数は Opus 4.8 が1,620件、Fable 5 が702件。

数字の上では”ほとんど防げている”と読むべきか、”防げないこともある”ことに注目すべきかは意見が分かれそうです。
なお、拒否されるたびに頼み方を少しずつ変えて言い直すと突破されがちでした。

ただし、論文は安全のため、モデルが書き始めた実際の中身(攻撃コードや具体的手順)をすべて伏字(operational content withheld)にしており、載っているのは「依頼に乗った冒頭の一文」までです。

イタリア政府が設立した公的研究機関AI4IのAI Security Lab長による報告。

こちらもどうぞ