[2O1-GS-10] AI application:

[2O1-GS-10-03] Extending Text-Based Models for Causal Inference on Visual Information in Image Data

〇Hayata Shimizu¹, Hiroaki Saito¹ (1. Keio University)

Keywords:Causal Inference, Deep Learning

本研究の基盤となる先行研究では、テキストデータを対象に、文書に含まれる「ポジティブさ」や「雄弁さ」などの要素をBERTモデルを用いて数値化し、これを因果推論の対象として扱っている.本稿の目的は、テキストデータを対象としたこの因果推論のアーキテクチャを画像データに適用し、画像内の視覚的特徴（例：明るさ、色味、コントラスト）を因果推論に組み込む.具体的には、画像データを解析して視覚効果をモデルによって抽出し、それが結果に与える影響を因果推論の枠組みで評価する.このアプローチにより、画像データが持つリッチな情報を因果推論に活用し、因果関係の測定を目指す.

従来研究に従ってベースラインを作成し提案手法の精度評価として用いた.
またテキストから画像に変更したことによりデータ拡張の実装と再構成損失を加え、その効果の検証を行った
ベースラインと比較して今回の提案手法がより正確に真の値(Ground Truth)により近い値を出力する結果を得ることができた.
またデータ拡張の有効性もわかる結果となった.