[1H2-J-13] AI応用: 映像と感性

[1H2-J-13-05] 4 コマ漫画ストーリーデータセットにおけるコマ画像の分散表現に基づく解析

〇寺内 光¹、森 直樹¹、上野 未貴² (1. 大阪府立大学、2. 豊橋技術科学大学)

キーワード：コミック工学、画像処理

人工知能（ＡＩ）に人間の創作物を理解させようとする研究が盛んである．しかし，それらは依然として難しいタスクである．本研究では，人間の創作物の中でも特に4コマ漫画を扱い，AIに理解させることを目的とする．この挑戦のために我々は「4コマ漫画ストーリデータセット」と呼ばれる新しい漫画データセットを用いる．このデータセットはAI創作の開発のために研究者と漫画家によって作られた世界初のデータセットである．本研究ではコマ画像のタッチ識別をするが，方法としてはオートエンコーダモデルを用いてコマ画像を分散表現化し，その分散表現を用いて識別タスクを解き，テスト画像がいずれのタッチであるか判断する．そのタッチ識別タスクの識別率によって分散表現の間接的な評価を行うこととする．また，顔のパーツ等を抜いた画像に対して同様の実験を行うことにより，提案した手法の有効性を確認する．