人の生体情報に合った音楽を生成するシステムを開発したとのこと。
例えば「心拍数が高めだが呼吸は落ち着いている」という状態から、AIが「ゆったりとしたテンポで、アンビエント系の楽器を使った癒し系の音楽が適切だ」といった判断を行い、音楽を作ります。
体の状態に応じてリアルタイムで 音楽が変化する、身体と音楽が連動した新しい体験です。
仕組みまず、非接触のセンサーで、ユーザーの心拍数と呼吸数を測定します。
次に、測定した生体データをLLMエージェントが解釈しテンポ(BPM)、スタイル、楽器、そして音階が選択されます。
最後に、拡散モデルが、エージェントの指示に従って実際の音楽を合成します。
実験では、専門家から、セラピーや心身の健康管理への応用可能性について高い評価を得たそうです。
📄 参照論文
BREATH: A Bio-Radar Embodied Agent for Tonal and Human-Aware Diffusion Music Generation
所属: Xiaomi