最先端のテクノロジーが音声合成の分野にも進出し、自然な音声を生成するための新たな道筋が開かれました。その最前線に立つのが、カリフォルニア大学バークレー校、カーネギーメロン大学、南カリフォルニア大学の研究チームによる、「MRIベースの発話表現からの深層音声合成」です。この記事では、この革新的な研究の内容を深堀りし、その背景、技術的な詳細、そして将来的な展望について解説します。

参照論文情報

• タイトル：Deep Speech Synthesis from MRI-Based Articulatory Representations
• 著者：Peter Wu, Tingle Li, Yijing Lu, Yubin Zhang, Jiachen Lian, Alan W Black, Louis Goldstein, Shinji Watanabe, Gopala K. Anumanchipalli
• 所属：UCバークレー、カーネギーメロン大学など
• URL：https://doi.org/10.48550/arXiv.2307.02471
• GitHub：https://github.com/articulatory/articulatory

関連研究

• AudioGPT：音声認識から歌声合成まで
• 人の音声からAIが「性格」を予測
• “脳波”から映像を生成する技術「DreamDiffusion」登場

人間の発話の核心へ迫る

この論文では、既存の発話合成手法に対する新たなアプローチが提案されています。特に、人間の声道の動きや形状をより詳細に捉えるために、MRI（磁気共鳴画像法）を用いた特徴セットが導入されています。

新たな特徴セットの導入

著者らは、音声合成における重要な発話情報をより広範囲に捉えるため、MRIを活用した新たな特徴セットを提案しています。この手法により、話者の発話スタイルや声道の動きをより詳細に模倣し、音声合成の質を向上させることが可能となります。

この新たな特徴セットの導入により、音声合成の精度が大幅に向上することが期待されます。具体的には、自然な音声の生成に必要な発話情報をより広範囲に捉えることができるため、音声の自然さや理解しやすさが大幅に向上します。

発話スタイルの再現性

さらに、この特徴セットを用いることで、個々の話者の特性や発話スタイルをより正確に再現することが可能となります。これにより、話者ごとの個性を保ったまま音声を合成することが可能となります。

著者たちの提案するMRIベースの特徴セットは、音声合成の新たな可能性を開くものです。従来の手法に比べてより自然で理解しやすい音声を生成することが可能となり、音声合成の領域における新たな地平を切り開くこととなるでしょう。

磁気共鳴画像法（MRI）と音声合成の交差点

音声合成技術は、その発展の過程で多くの手法が試みられ、改良されてきました。しかし、その中で今回の研究が取り組んでいるのは、人間の発話表現をより正確に捉え、それを音声合成に生かすという新たな視点です。その鍵となるのが、医療分野で広く活用されている磁気共鳴画像法（MRI）です。

MRIの役割

MRIは、人間の体内を高解像度で撮影することができる技術であり、組織の微細な構造まで視覚化することが可能です。その能力を活かして、人間の声道の動きや形状をより詳細に捉えることが、この研究の目的となります。

既存の音声合成手法における発話表現の取得は、主に電磁的発話計測（EMA）によって行われてきました。しかし、EMAは声道の一部しか捉えられず、また発声や鼻音といった重要な情報を欠いているという問題がありました。

MRIとEMAの組み合わせ

この研究では、MRIによる発話表現の取得と、EMAによる特徴セットの組み合わせが試みられています。これにより、発話情報の幅を広げ、音声合成の質を向上させることが期待されます。

この研究により、MRIと音声合成技術の組み合わせによる新たな発話表現の可能性が示されています。従来の音声合成技術が抱えていた問題を解決するとともに、発話情報の取得範囲を広げることで、より自然で理解しやすい音声の生成が期待できます。

MRIベースの特徴セットによる音声合成の深化

この論文では、新たな音声合成手法として、MRIベースの特徴セットを活用した発話表現の取得が提案されています。このセクションでは、その具体的な手法とその有効性について詳細に解説します。