東京大学などの研究者らが、シナリオを漫画に変換するフレームワーク「MangaFlow」を開発。
ステップは次の通り。
①入力したシナリオを、ページ・コマ・「ストーリーセクション(ひと続きの場面のまとまり)」に分解
②セクションごとに登場人物・背景・ 重要な小物の設定と参照画像をひも付けて記憶し、同じセクション内のコマで使い回す
③ページのコマ割りを明示的に作る。自動生成のほか、既存漫画から抽出した配置の再利用や、ユーザーが指定した配置も使えます。作った配置はコマ数・重なり・はみ出し・余白を機械的にチェックして補正
④各コマに対応する参照(人物・背景・小物)をまとめて渡し、画像生成モデルでコマ単位に描く
⑤描いたコマをレイアウト通りに配置してページを組み立てる
⑥セリフやナレーションの吹き出しを、キャラの顔を隠さない位置に配置する
Gemini(nano-banana)やChatGPTの画像生成などで漫画を作る場合との違いは、ページを丸ごと一発で描かせるか、工程を分けるか、という点にあります。
一発生成だとコマ割り・キャラ・セリフが1枚の絵の中で混ざるため、指定したコマ数や配置を守れない、コマの境界がつぶれる、ページをまたぐとキャラの見た目が変わる、セリフが読めなかったり抜けたりする、といったことが起きやすくなります。