調理プロセスを記述しただけのレシピ文章から、「ムービーおよび画像、文、ナレーション音声」で構成されるレシピ動画を生成するシステムが開発されました。Adobeに所属する研究グループによる報告です。
- レシピ文書を自動的にビデオに変換するシステム
- アルゴリズムを使用したビデオの自動生成とパフォーマンス評価
- マルチモーダルなアセットの取得と最適化スキーム
- データセットの利用拡大とシステム改良に向けた今後の展望
- まとめ
- 関連研究
レシピ文書を自動的にビデオに変換するシステム
Adobeの研究グループは、新しい深層学習に基づくシステム「Recipe2Video」を開発しています。
このシステムは、レシピ文書をなイラスト付きビデオに自動変換することができます。最適な画像とビデオを選択し、ビジュアルとテキスト情報を組み合わせたコンテンツを提供します。
以下は、作成されたレシピ動画のデモムービーです。
その他のデモムービーはこちらのGoogle driveに格納されています。
アルゴリズムを使用したビデオの自動生成とパフォーマンス評価
「Recipe2Video」は、Viterbiベースの最適化アルゴリズム（※）を使用して、内容に一貫性のあるビデオを作成しています。
※Viterbiベースの最適化アルゴリズム・・・何かの状態が与えられた時に、現在の状態に基づいて、その後に生じる状態の最も尤らしい（最も起こり得る）並びを探索するアルゴリズム。
自動化されたメトリックを設計し、2つのレシピデータセット（RecipeQA、Tasty Videos）での複数のベースラインとのパフォーマンスを比較しました。結果は、Recipe2Videoがしっかりと意味のあるビデオを生成していることを示しました。
マルチモーダルなアセットの取得と最適化スキーム
今回のシステムでは、マルチモーダルなアセット（複数種類のデータ）を取得し、時間、情報カバレッジ、モダリティの適切性などの異なる次元に基づいて、それらをランク付けするために様々な技術を使用しています。
それらをViterbiベースの最適化スキームを使用してビデオに縫い合わせます。Recipe2Videoは、繊細で簡潔なセマンティックバリアント（※）を含む、ユーザの好みに応じて対応することもできます。
※セマンティックバリアント・・・同じ言語の中で意味が異なる単語や表現のことを指す。つまり、同じ言葉が複数の意味を持つこと。同音異義語。
データセットの利用拡大とシステム改良に向けた今後の展望
研究者らは、主に技術的な観点から今後の展望を以下のように述べています。
システムモジュールの多くは、レシピ分野に特有のデータセットが存在することに依存しています。他の分野では同等のデータセットがほとんど存在しないため、より一般的なフレームワークを構築するためにTut-VQAデータセットなどのデータセットを考慮する予定です。
また、Url2Videoのレイアウト最適化を取り入れることでビデオの品質を向上させることも計画しています。モダリティの分析や組み合わせの改良についても、今後詳細に分析していく予定です。
参照論文情報
- タイトル：Recipe2Video: Synthesizing Personalized Videos from Recipe Texts
- 著者：Prateksha Udhayanan, Suryateja BV, Parth Laturia, Dev Chauhan, Darshan Khandelwal, Stefano Petrangeli, and Balaji Vasan Srinivasan
- URL：openaccess.thecvf.com
まとめ
料理のレシピは、日常で非常に役立つコンテンツです。しかし、テキストだけでは料理を再現するのが難しい場合もあります。今回紹介した研究では、レシピ文書を多様なイラストを含む動画に自動的に変換する、深層学習駆動の新しいシステム「Recipe2Video」が開発されています。
Recipe2Videoが将来的にどのように役立つのかを、現実的な視点とSF的な視点の両方から考えてみます。
まず現実的な視点では、レシピをより視覚的に理解しやすくするという点で、料理の初心者や調理に不慣れな人々にとって非常に役立つものです。レシピの手順を視覚化することで、料理の成功率を向上させることができます。
そしてSF的な視点では、レシピを完全に自動化し、人間の介入なしで料理を作ることができるようになる可能性があります。将来的には、人工知能によって、料理の成功率を向上させることができるかもしれません。例えば、配合した材料の在庫や、調理器具の使用状況に応じて、最適な料理の提案を行うことができるようになるかもしれません。
食文化の成長につながるかもしれない、このような技術の発展に期待していきましょう！
関連研究
（メディア会員システムのご説明）
当サイトの会員は、過去記事をすべて閲覧できるほか、自らの課題に特化した文献調査をリクエストしたり、広告掲載をオーダーしたり、AI開発に関するコンサルティングを申し込んだりできます。会員からは、「AIに関する情報収集を効率的に行うことができている」「非常に素晴らしいサービスだ」と好評を頂いています。
会員登録は無料、文献調査や広告掲載などのオプションは有料です。今ならディスカウントにも対応しています。
毎月対応できる顧客の数には限りがあり、会員登録が早い方はオーダーのご対応がスムーズに行えます。ぜひ早速ご利用ください！
会員登録はこちら
なお、本メディアの読者が交流を行うサークルをOPENしました！ぜひご参加ください！
※この記事では、Twitterで反響があった話題に対して詳細や補足をまとめています。
