[4Xin1] ポスターセッション2

[4Xin1-01] ウィキメディア・コモンズを利用した複数カテゴリーにおけるビジュアルエンティティリンキング

〇松島 ひろむ¹ (1.東京大学)

キーワード：ヴィジュアルエンティティリンキング、知識ベース、ウィキメディア、ウィキデータ

ヴィジュアルエンティティリンキングは、画像中の物体と知識ベース上のエンティティを紐付けるタスクである。画像に付加した対象物体に関する信頼性の高い情報は、画像質問応答、画像キャプション生成などに応用できることが期待される。しかし、既存データセットは、リンキング先がカテゴリレベルである、カテゴリ数が限られている、ラベルあたりの画像数が少ない、知識ベースIDが付与されていない、といった問題がある。

本研究では、既存データセットの問題点を解決したデータセットの作成を行う。8つのカテゴリについて、ウィキメディア・コモンズから各カテゴリに属するエンティティのページを収集し、エンティティ名、ウィキデータID、画像データを取得する。収集した画像に対し物体検出器を利用し、カテゴリ毎にクリーニングを行う。作成したデータセットは、リンキング先がエンティティレベルであり、複数カテゴリのデータを持ち、1ラベルあたりの画像枚数が多く、エンティティ名だけでなく知識ベース上のノードを一意に特定するIDを持つ。また、作成したデータセットの分析、クリーニングの精度検証、本データを用いた画像認識モデルの訓練・テストを行う。