Appleが開発スマホに特化したマルチモーダルLLM『Ferret UI』

Appleが開発　スマホに特化したマルチモーダルLLM『Ferret UI』

★AIDB会員限定Discordを開設いたしました！ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします！↓

「スマホ画面上のオブジェクトを理解するのに特化した、マルチモーダル大規模言語モデルのFerret-UI」に関するAppleの研究について紹介します。

AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

著者：Keen You, Haotian Zhang, Eldon Schoop, Floris Weers, Amanda Swearngin, Jeffrey Nichols, Yinfei Yang, Zhe Gan

iPhoneやAndroidなどのスマートフォンの普及に伴い、人間は多くの時間を、スマホのUI画面を見ることに費やしています。

それと同時に、GPT-4VやDALL-E 3などの、画像分野に特化したマルチモーダル大規模言語モデル（MLLM）の発展は、目覚ましいものがあります。現在のMLLMの性能にとっては、「写真に写っているものを、文章で答える」などのタスクは容易いです。

しかし、そうしたスマホの普及とMLLMの性能向上に反して、「スマホ画面の理解に特化したMLLM」という限定した分野の研究については、それほど行われてきていません。

また、スマホUIとマルチモーダルに関する先行研究においても、スマホ画面に特化した処理は行われておらず、複雑なタスクにおいて困難が生じます。

以下のような要因があります。

しかし本研究で提案されている技術を使用すると、例えば、以下のような「ウィジェットの分類」や「アイコンの認識」、「スマホのUI画面に関するLLMとの会話」といったタスクも遂行可能です。高度なスマホ操作の補助など、様々な応用が期待できます。

本記事を読むにはAIDBのアカウントが必要です。

※ログイン/初回登録後、下記ボタンを押してください。

■サポートのお願い

AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。