最終更新日：2022/12/08

Google ResearchのPatsorn Sangkloyら研究チームは論文”A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch“を発表した。

論文URL：doi.org/10.48550/arXiv.2208.03354

同論文の内容は「スケッチと補足説明を入力すると関連する画像を検索する」モデルを開発したという報告だった。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

同社は「下手なスケッチでも」テキスト検索より精度が大幅に向上すると述べている。実験では、スケッチのレベルを40%落としても検索の精度はわずかに低下するだけだったという。

データセットおよび実装コードは公開されている。

Github