Appleが開発　スマホに特化したマルチモーダルLLM『Ferret UI』

「スマホ画面上のオブジェクトを理解するのに特化した、マルチモーダル大規模言語モデルのFerret-UI」に関するAppleの研究について紹介します。

UIに関するマルチモーダルの現状

iPhoneやAndroidなどのスマートフォンの普及に伴い、人間は多くの時間を、スマホのUI画面を見ることに費やしています。

それと同時に、GPT-4VやDALL-E 3などの、画像分野に特化したマルチモーダル大規模言語モデル（MLLM）の発展は、目覚ましいものがあります。現在のMLLMの性能にとっては、「写真に写っているものを、文章で答える」などのタスクは容易いです。

しかし、そうしたスマホの普及とMLLMの性能向上に反して、「スマホ画面の理解に特化したMLLM」という限定した分野の研究については、それほど行われてきていません。

また、スマホUIとマルチモーダルに関する先行研究においても、スマホ画面に特化した処理は行われておらず、複雑なタスクにおいて困難が生じます。

以下のような要因があります。

• スマホ特有の縦長画面のアスペクト比が、一般画像と異なる
• スマホ内のアイコンなどのオブジェクトが小さく、認識が難しい

しかし本研究で提案されている技術を使用すると、例えば、以下のような「ウィジェットの分類」や「アイコンの認識」、「スマホのUI画面に関するLLMとの会話」といったタスクも遂行可能です。高度なスマホ操作の補助など、様々な応用が期待できます。