現行のChatGPTは画像の入出力に対応していませんが、新システム”Visual ChatGPT”によってユーザーはテキストだけでなく画像を通してChatGPTに質問したりタスクを与えることができるようになります。
マイクロソフトの研究グループが同システムの開発を下記のように報告しています。
人とAIが画像を介して対話する未来
OpenAIによる大規模言語モデル搭載チャットボットChatGPTは、複数の分野やドメインにわたって卓越した会話能力や推論力を持つことが注目されています。しかし、ChatGPTは言語によって訓練され、画像を処理することや生成することは現在（2023年3月9日）できません。一方、Vision TransformerやStable DiffusionなどのVisual Foundation Models（ビジュアル基盤モデル）は、重要な視覚理解や生成能力を持っています。ただし、1ラウンドで入力・出力の特定のタスクを完結するのが通常の機能です。
この課題を解決するため、マイクロソフトの研究グループはVisual ChatGPTというシステムを構築しました。
Visual ChatGPTには、異なるVisual Foundation Modelsが組み合わされており、ユーザーがChatGPTと画像を通して対話する世界を実現します。Visual ChatGPTの特徴は以下の通りです。
1）言語だけでなく画像も送信/受信できる。
2）画像を使用した複雑な質問やタスク命令を多数のステップで可能。
3）フィードバックや修正のリクエストも扱う。
研究グループは、Visual ChatGPTの論文とシステムを公開しています（記事下部に記載）。
Visual ChatGPTの強み
Visual ChatGPTは、言語フォーマット以外でChatGPTとやり取りできるオープンシステムです。今回のプロジェクトでは、Visual Foundation Modelsを使用して、さまざまなタスクをステップバイステップで解決できるように、慎重な設計が行われています。
下記画像でわかるように、実験によって、Visual ChatGPTが多様なタスクに対して優れたポテンシャルを誇っていることが確認されています。
一方、Visual ChatGPTには課題が残っています。
VFMsの失敗やプロンプトの不安定性により、生成結果が満足いくものでない場合があります。そのため、「自己修正モジュールが必要になる」と研究グループは述べています。
まとめ
将来的にVisual ChatGPTが実装されれば、画像や言語を用いた顧客サポートや、オンラインマーケットプレイスやSNSのコミュニケーション、音声またはビデオチャットでのAI活用など、市場でのあらゆるタスクに役立つことが期待されます。
また、さらにアプリケーションの開発が進めば、製造、医療、自動車産業、教育、都市情報などの複雑な分野にも進出することが予想されます。
現在のテクノロジーを超えた未来の可能性をもたらし、市場競争の促進や、私たちの日常生活を大きく変える技術の今後に注目していきましょう！
参照論文情報
- タイトル：Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
- 著者：Chenfei Wu, Shengming Yin, Weizhen Qi, Xiaodong Wang, Zecheng Tang, Nan Duan
- DOI リンク：10.48550/arXiv.2303.04671
GitHub：microsoft/visual-chatgpt
関連研究
ChatGPT、「金融」と「心理学」の専門知識で特に役立つとの傾向が顕著に
ChatGPTによる医師免許試験の成績「医学部3年生に匹敵する」米イエール大学
（メディア会員システムのご説明）
当サイトの会員は、過去記事をすべて閲覧できるほか、自らの課題に特化した文献調査をリクエストしたり、広告掲載をオーダーしたり、AI開発に関するコンサルティングを申し込んだりできます。会員からは、「AIに関する情報収集を効率的に行うことができている」「非常に素晴らしいサービスだ」と好評を頂いています。
会員登録は無料、文献調査や広告掲載などのオプションは有料です。今ならディスカウントにも対応しています。
毎月対応できる顧客の数には限りがあり、会員登録が早い方はオーダーのご対応がスムーズに行えます。ぜひ早速ご利用ください！
会員登録はこちら
なお、本メディアの読者が交流を行うサークルをOPENしました！ぜひご参加ください！
※この記事では、Twitterで反響があった話題に対して詳細や補足をまとめています。
