[4G2-OS-24c] 日常生活知識とAI

[4G2-OS-24c-04] シーングラフに基づく画像キャプション生成モデルの自動評価と解析

〇田中 励雄¹、和田 唯我¹、杉浦 孔明¹ (1. 慶應義塾大学)

キーワード：画像キャプション生成、自動評価尺度、シーングラフ、JaSPICE

日本語における画像キャプション生成タスクでは，BLEUやMETEORのようなn-gramに基づく自動評価尺度が主に用いられている．しかし，これらの評価尺度は人間による評価との相関が高くないことが報告されている．そこで，日本語を評価可能なシーングラフに基づく自動評価尺度としてJaSPICEが提案されてきた．しかし，JaSPICEは一般的な画像生成タスクにおいてのみ検証が行われており，指示文付与タスクにおける有用性は検証されていない．またJaSPICEではエラーの分析も行われておらず，指示文付与タスクにおけるJaSPICEの解析とエラー分析は有益である．したがって，本論文では指示文付与タスクにおけるJaSPICEの解析および一般的な画像生成タスクにおけるエラーの分析を行う．実験の結果，JaSPICEはベースライン尺度と比較して人間による評価との相関係数が高いことを確認した．