脳活動を非侵襲で(外側から)記録し、会話音声に変換する新しいテクノロジーが開発されました。
1000以上のカテゴリからの分類で平均精度41%、最高80%の精度が出ています。
Metaなどによる研究です。
○ Alexandre Défossez et al., “Decoding speech from non-invasive brain recordings”
従来、脳活動を音声に変換する研究では、意外にも侵襲型デバイスを用いるのが一般的でした。
侵襲はリスクが大きいものの、非侵襲で測れるM/EEGデータはノイズが大きいからです。
ただし、侵襲的な手法でも会話音声への変換は難しいとされてきました。
Metaなどの研究者らは、手法の組み合わせで課題の解決を試みました。
■研究者らのアイデアと方法論
アイデアは以下でした。
① 自然言語処理(NLP)を活用
② 非侵襲的なアプローチを採用
③ M/EEGデータを音声に変換
具体的な方法論は以下でした。
① wav2vec 2.0※用いる
② 対照学習(自己教師付き学習の一種)を用いる
② 音声セグメントを識別するモデルを訓練
※wav2vec 2.0とは:音声データから高品質な特徴を抽出するツールです。Metaが開発しました。
■実験結果
研究者らは本手法の性能を確かめました。
① 3秒間のMEG信号を処理
② 1,000以上のカテゴリへの分類で最大41%の精度で音声セグメントを識別できた
③ 最も優れた参加者では、80%以上の精度で識別できた
(ただし例外的な存在である可能性も考慮)
■結論と展望
本手法による実験結果を経て、以下の結論が得られました。
① 非侵襲であっても、音声を高精度で変換することは可能
② 高度な自然言語処理(NLP)技術と組み合わせることが重要
また、今後の展望は以下です。
① 本手法の一般性と実用性をさらに高める
② 多様な人口統計学的背景や状況での有効性を検証する
□考察
本手法は、未来のツールに適用される有望な技術です。
一方、本研究のサンプルサイズは175人と網羅性にやや欠けるため、さらなる研究が重要です。
また、研究環境ではなく日常の環境でどの程度の精度が出るのかを検証するのも必須です。
41%の精度は実用には十分ではありませんが、初期段階の研究成果としては注目されるものとなっています(参加者によっては80%以上)。