Stable Diffusionで脳内映像を見る！大阪大学の研究者らが開発

あなたの脳が見ている映像を、AIで再現できるようになるかも？脳科学とAIテクノロジーの融合がますます白熱しています。

目次

• 脳活動からリアルな画像再構築の新手法を提案
• 拡散モデルを使用した高解像度画像の生成
• まとめ
• 関連研究

脳活動からリアルな画像再構築の新手法を提案

論文「High-resolution image reconstruction with latent diffusion models from human brain activity」では、脳が世界をどのように表現するかを理解するための、そしてコンピュータビジョンモデルと私たちの視覚システムの関連を解釈するためのユニークな方法が示されています。著者は大阪大学の高木 優氏、西本 伸志氏です。

近年、深層学習による生成モデルが上さまざまな用途で使われるようになっていますが、人間の脳が見ている映像を高品質なレベルで再構築することはまだまだ難しいとされてきました。そんな中、大阪大学の研究者らは拡散モデルをベースとした新しい手法を提案し、機能的磁気共鳴画像法（fMRI）によって得られた脳活動から画像を再構成する方法を論文で発表しました。

提案手法では、低コストで高い生成能力を持つ潜在拡散モデルを使用しています。提案手法は、複雑な深層学習モデルの追加のトレーニングや微調整を必要とせずに、高い忠実度を持つ高解像度の画像を簡単に再構成できます。また、神経科学的な観点から定量的な解釈を提供しています。

拡散モデルを使用した高解像度画像の生成