[1O5-GS-7] 画像音声メディア処理：分類・生成

[1O5-GS-7-02] ドメイン依存性の低い画像分類モデルを活用したゼロショットインスタンスセグメンテーション手法

〇及川 雅哉¹、山内 拓人¹、鄭 顕志¹ (1. 早稲田大学)

キーワード：ゼロショット学習、セグメンテーション、画像分類

深層学習を使用した画像認識技術のひとつであるインスタンスセグメンテーションは，個々の物体インスタンスに対してピクセル単位でセグメント化を行える．実用化へ向けて大きな課題となるのが，学習データセットの不足である．そこで，少ないデータセットから検出モデルを構築する研究が盛んに行われており，そのひとつとしてゼロショット学習がある．ゼロショット学習とは，見たことのない物体をも正しく検知するタスクであり，見たことのある物体から得た視覚的知識を単語ベクトルなどの中間表現を通して転移させることで実現している．本研究では，ゼロショットインスタンスセグメンテーションの先行研究に着目し，その課題のひとつとして挙げられるクラス認識精度の向上のため，OpenAIによって提案されたドメイン依存性の小さいゼロショット画像分類モデルCLIPを導入する手法を提案する．また，先行研究のベンチマークに倣い，大規模データセットMirosoft COCOを使用した学習・推論実験を行い，得られた推論結果を評価することで，クラス認識精度を向上させたインスタンスセグメンテーションモデルとして本提案手法が有効であることを確認した．