AIDB Daily Papers
探して解決:日常シーンにおける視覚的手がかり駆動型推論のためのMLLMベンチマーク
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 日常シーンにおける視覚的推論能力を測るDailyClueベンチマークを構築し、MLLMの性能を評価しました。
- 既存のベンチマークが知識や知覚理解に偏る中、本研究は視覚的な手がかりから推論する能力に焦点を当てています。
- MLLMとエージェントモデルの評価により、視覚的な手がかりの正確な特定が重要であることが示されました。
Abstract
Daily scenarios are characterized by visual richness, requiring Multimodal Large Language Models (MLLMs) to filter noise and identify decisive visual clues for accurate reasoning. Yet, current benchmarks predominantly aim at evaluating MLLMs' pre-existing knowledge or perceptual understanding, often neglecting the critical capability of reasoning. To bridge this gap, we introduce DailyClue, a benchmark designed for visual clue-driven reasoning in daily scenarios. Our construction is guided by two core principles: (1) strict grounding in authentic daily activities, and (2) challenging query design that necessitates more than surface-level perception. Instead of simple recognition, our questions compel MLLMs to actively explore suitable visual clues and leverage them for subsequent reasoning. To this end, we curate a comprehensive dataset spanning four major daily domains and 16 distinct subtasks. Comprehensive evaluation across MLLMs and agentic models underscores the formidable challenge posed by our benchmark. Our analysis reveals several critical insights, emphasizing that the accurate identification of visual clues is essential for robust reasoning.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: