[1E4-GS-6] 言語メディア処理

[1E4-GS-6-05] 論理推論におけるVision-and-Languageモデルを用いたフレーズ間知識の補完

〇富張 聡祥¹、谷中 瞳¹ (1. 東京大学)

キーワード：含意関係認識、Vision-and-Language、自然言語処理、推論システム

文間の含意関係を判定する含意関係認識は、質問応答や機械翻訳などに応用される自然言語処理の重要なタスクの一つである。論理推論による手法は否定や数量などの言語現象を扱える点と含意関係の判定に至る過程の解釈性が高い点で機械学習を用いた手法より優れている。一方で、文間の含意関係の認識に必要なフレーズ間知識の補完が重要な課題である。そこで、本研究では、視覚に基づく表現が人間による含意関係の判定を容易にするという直感に基づき、視覚に基づくフレーズ表現の比較によってフレーズ間知識を補完する手法を提案する。提案手法では、まず、論理推論の過程から補完する知識の候補となる前提と結論のフレーズを得た後、Vision-and-Languageモデルを用いて、それらの視覚に基づく表現を画像またはモデル内の埋め込みベクトルの形で得る。そして、得られた表現を比較して、知識を補完するか否かを決定する。視覚に基づく表現の比較では、単純な類似度に加えて含意関係という非対称的な関係を考慮する。SICKデータセットを用いた実験の結果、提案手法を用いた論理推論システムは、提案手法を用いない場合と比べて正答率が向上した。