[2L1-J-9] 自然言語処理・情報検索: 画像との結合

[2L1-J-9-03] テキスト情報と画像情報を組み合わせた論理推論システムの構築

鈴木 莉子¹、〇吉川 将司²、谷中 瞳³、峯島 宏次¹、戸次 大介¹ (1. お茶の水女子大学、2. 奈良先端科学技術大学院大学、3. 理化学研究所AIPセンター)

キーワード：画像の意味表現、マルチモーダル推論、定理証明、意味解析、コンピュータビジョン

近年、モダリティの異なるデータ間での推論によって新たな知識を獲得するマルチモーダル推論に関する研究が盛んになっている。画像情報を自然言語の意味表現と接続可能な形式で表すことができれば、自然言語テキスト間の推論と同様の高度な推論を、テキストデータと画像情報の間で行うことができる。本論文では、画像情報とキャプションを一階述語論理 (FOL)のモデルと論理式を用いて表現することで、画像から数量表現や否定を含む複雑な文を推論するシステムを提案する。画像情報とキャプションにより拡張されたFOLモデルを用いることで、意味的に複雑な文に加え、物体の状態を表す関係を含む文も推論できるようになった。