「スマホ画面上のオブジェクトを理解するのに特化した、マルチモーダル大規模言語モデルのFerret-UI」に関するAppleの研究について紹介します。
参照論文情報
- タイトル：Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
- 著者：Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan
- 所属：Apple
UIに関するマルチモーダルの現状
iPhoneやAndroidなどのスマートフォンの普及に伴い、人間は多くの時間を、スマホのUI画面を見ることに費やしています。
それと同時に、GPT-4VやDALL-E 3などの、画像分野に特化したマルチモーダル大規模言語モデル（MLLM）の発展は、目覚ましいものがあります。現在のMLLMの性能にとっては、「写真に写っているものを、文章で答える」などのタスクは容易いです。
しかし、そうしたスマホの普及とMLLMの性能向上に反して、「スマホ画面の理解に特化したMLLM」という限定した分野の研究については、それほど行われてきていません。
また、スマホUIとマルチモーダルに関する先行研究においても、スマホ画面に特化した処理は行われておらず、複雑なタスクにおいて困難が生じます。
以下のような要因があります。
- スマホ特有の縦長画面のアスペクト比が、一般画像と異なる
- スマホ内のアイコンなどのオブジェクトが小さく、認識が難しい
しかし本研究で提案されている技術を使用すると、例えば、以下のような「ウィジェットの分類」や「アイコンの認識」、「スマホのUI画面に関するLLMとの会話」といったタスクも遂行可能です。高度なスマホ操作の補助など、様々な応用が期待できます。
