音楽は、表現とコミュニケーションの媒体として、多様な文化を超えて普遍的な価値を持っています。そして脳内での音楽の表現は、神経科学において重要なトピックとなっています。この記事では、人間の脳活動から音楽を再構築する方法を紹介します。

参照論文情報

• タイトル：Brain2Music: Reconstructing Music from Human Brain Activity
• 著者：Timo I. Denk, Yu Takagi, Takuya Matsuyama, Andrea Agostinelli, Tomoya Nakai, Christian Frank, Shinji Nishimoto
• 所属：Google, Osaka University, Japan, NICT, Japan, Araya Inc., Japan
• URL：https://doi.org/10.48550/arXiv.2307.11078
• GitHub：https://google-research.github.io/seanet/brain2music/

「Brain2Music」

Brain2Musicは、人間の脳活動から音楽を再構築するための手法を提供します。この手法は、機能的磁気共鳴画像法（fMRI）を用いて捉えられた脳活動を基に、音楽を再生するか、MusicLM音楽生成モデルを用いて音楽を生成します。生成された音楽は、人間の被験者が経験した音楽刺激に対して、ジャンル、楽器編成、ムードなどのセマンティックなプロパティに関して類似性を持ちます。

これまでの研究では、音楽に対する脳の反応を調査するために、音楽を聴いている間のfMRIスキャンを行ってきました。しかし、Brain2Musicは、これらのスキャンデータを用いて音楽を再構築することで、脳が音楽をどのように解釈し、表現するかについての新たな洞察を提供します。

プロセス

音楽の再構築

Brain2Musicの手法は、以下の2つのステップから成り立っています。

1. fMRIデータから音楽の埋め込みを予測する
2. それらの特徴から音楽を生成する

このプロセスは、fMRI応答から音楽の埋め込みを予測し、その埋め込みに基づいて音楽を取得または生成するというものです。

音楽の埋め込み予測

Brain2Musicは、fMRI応答とターゲットとなる音楽の埋め込みとの間の関係をモデル化することで行われます。このモデル化は、L2正則化線形回帰を用いて行われ、各被験者とターゲット次元について、回帰正則化ハイパーパラメータが交差検証により調整されます。

音楽の取得と再構築

Brain2Musicでは、予測された埋め込みから元の刺激を導き出すために、2つのアプローチを探求しています。

1. 既存の音楽コーパスから類似の音楽を取得する
2. MusicLMを用いて音楽を生成する

取得アプローチは、そのサイズが限られているため、音楽コーパスの多様性に制約があります。一方、生成アプローチでは、MusicLMが提供する音楽の多様性を活用して、より広範な音楽を再構築することが可能です。

検証方法とその結果

実験設定

Brain2Musicの有効性を検証するために、研究者らによって、被験者が音楽を聴いている間のfMRIデータを用いた実験が行われました。被験者は、さまざまなジャンル、楽器編成、ムードの音楽を聴き、その間の脳活動をfMRIで記録しました。

結果