LLMに音声データの学習や各種タスクをさせるためのツール『音響プロンプトチューニング（APT）』が開発されています。
アランチューリング研究所やAmazonなどの研究者らによる発表です。
– “Acoustic Prompt Tuning: Empowering Large Language Models with Audition Capabilities”
論文によると、現在のLLMは、言語や視覚の理解に重きを置いています。「音の世界も大事だ」という認識はあるものの、データ不足などから既存LLMは音声の理解にうまく適用されていません。
そこで今回研究者らは、LLMと音声をうまく繋げる『音響プロンプトチューニング（APT）』というアダプターを開発しました。
■『音響プロンプトチューニング（APT）』とは
① 音声をシーケンスに変換し、テキストの埋め込みと連結
② 音声の様々なタスクを行うようLLMを学習する
③ 一度に複数の音声データを処理する
→音声データとテキストデータを上手く組み合わせて、両方の情報を活用する技術
■実験結果
① 自然言語の音声推論タスクで63.78%の平均適合率を達成
② 音声キャプションと分類タスクでも高いパフォーマンスを示す
③ 他の多様な音声理解タスクにおいても競争力のあるパフォーマンスを示す
→LLMを音声領域に拡張するための汎用的なアダプタとして機能
■今後の展望
① 実験で行われたモデル（Vicuna、BLIP-2）以外への適用
② 指示ベースのデータセットへの対応
③ 特定のオーディオタイプへの理解の拡張
本研究は今後の発展が期待され、特に多様なトレーニングデータを利用することで汎用的な能力を持つようになることが強調されています。
