次回の更新記事:MetaのLLM『Muse Spark 1.1』評価報告を読み解く。コ…(公開予定日:2026年07月13日)

シナリオから漫画を自動生成するMangaFlow

画像・Vision(画像認識、VLM、マルチモーダル、OCR)

📝 これは「短信」です ― AIDBリサーチチームが独自の視点で論文を紹介する、カジュアルで読みやすいコンテンツです。

東京大学などの研究者らが、シナリオを漫画に変換するフレームワーク「MangaFlow」を開発。
ステップは次の通り。

①入力したシナリオを、ページ・コマ・「ストーリーセクション(ひと続きの場面のまとまり)」に分解
②セクションごとに登場人物・背景・ 重要な小物の設定と参照画像をひも付けて記憶し、同じセクション内のコマで使い回す
③ページのコマ割りを明示的に作る。自動生成のほか、既存漫画から抽出した配置の再利用や、ユーザーが指定した配置も使えます。作った配置はコマ数・重なり・はみ出し・余白を機械的にチェックして補正
④各コマに対応する参照(人物・背景・小物)をまとめて渡し、画像生成モデルでコマ単位に描く
⑤描いたコマをレイアウト通りに配置してページを組み立てる
⑥セリフやナレーションの吹き出しを、キャラの顔を隠さない位置に配置する

Gemini(nano-banana)やChatGPTの画像生成などで漫画を作る場合との違いは、ページを丸ごと一発で描かせるか、工程を分けるか、という点にあります。
一発生成だとコマ割り・キャラ・セリフが1枚の絵の中で混ざるため、指定したコマ数や配置を守れない、コマの境界がつぶれる、ページをまたぐとキャラの見た目が変わる、セリフが読めなかったり抜けたりする、といったことが起きやすくなります。

こちらもどうぞ