次回の更新記事:誤解を招きやすいAI用語6選、技術語なのに揺れる意味(公開予定日:2026年04月30日)
AIDB Daily Papers

LLM支援による検査可能なマルチモーダル感情データアノテーションツールキット

原題: An LLM-Assisted Toolkit for Inspectable Multimodal Emotion Data Annotation
著者: Zheyuan Kuang, Weiwei Jiang, Nicholas Koemel, Matthew Ahmadi, Emmanuel Stamatakis, Benjamin Tag, Anusha Withana, Zhanna Sarsenbayeva
公開日: 2026-03-03 | 分野: LLM マルチモーダル 効率化 人間 画像 動画 感情 アノテーション

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • マルチモーダル感情認識のための、イベント中心の検査可能なアノテーションツールキットを開発した。
  • 動的でずれやすい手がかりに対し、LLMを活用することで、詳細かつ根拠に基づいたアノテーションを効率化する。
  • ツールキットは、異種記録の処理・可視化、イベント検出、LLMによるアノテーション下書き生成を行い、VR感情記録で実証した。

Abstract

Multimodal Emotion Recognition (MER) increasingly depends on fine grained, evidence grounded annotations, yet inspection and label construction are hard to scale when cues are dynamic and misaligned across modalities. We present an LLM-assisted toolkit that supports multimodal emotion data annotation through an inspectable, event centered workflow. The toolkit preprocesses and aligns heterogeneous recordings, visualizes all modalities on an interactive shared timeline, and renders structured signals as video tracks for cross modal consistency checks. It then detects candidate events and packages synchronized keyframes and time windows as event packets with traceable pointers to the source data. Finally, the toolkit integrates an LLM with modality specific tools and prompt templates to draft structured annotations for analyst verification and editing. We demonstrate the workflow on multimodal VR emotion recordings with representative examples.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事