漫画を台本に変換するモデル登場

マンガは世界的に人気のあるコンテンツですが、マンガを楽しむためには視覚に大きく依存するという特徴があります。そのため、例えば視覚障害者の方々にとっては楽しむ手段が限られています。

マンガのアクセシビリティを向上させる取り組みとしては、過去にオックスフォード大学の研究者らが開発した「Magiモデル」が挙げられます。マンガのページから文字、キャラクター、コマなどを検出し、セリフとキャラクターを関連付ける機能を持つモデルでした。

しかし、Magiモデルは実用性に課題がありました。キャラの名称を一貫して識別することができない、セリフとキャラの関連付けの精度が低い、セリフと効果音の区別が不十分といった特徴がありました。

そこで今回研究者らは新しいモデルを開発しました。上記の課題を解決する性能を持つモデルです。このモデルを利用すると、もとのマンガに対して精度が高い台本をテキストベースで生成することができます。