[4N2-GS-7] 画像音声メディア処理：

[4N2-GS-7-01] マルチモーダルRAGを用いた交通事故リスク推定

〇千葉 大幹¹、伊藤 修¹、飯田 啄巳² (1. 本田技研工業株式会社、2. 株式会社Elith)

キーワード：マルチモーダル、検索拡張生成、大規模視覚言語モデル

自動運転技術の発展に伴い、交通事故リスクの正確な推定が求められているが、従来のADAS技術では複雑なシーン理解が課題となっている。ADASは外界センサを用いて障害物を検知し、衝突軽減ブレーキや回避操舵支援を行う技術であり、交通事故の低減に一定の成果を上げている。しかし、事故シナリオの多様性や複雑さにより、従来のADAS技術ではさらなる事故低減に限界がある。近年、VLMの自動運転分野への応用が進んでおり、広範な知識を持つ基盤モデルが交通シーン理解にも一定の精度を発揮している。しかし、交通事故の要因までも考慮したシーン理解には基盤モデルのみの知識では不十分である。そのため、交通事故リスク推定に特化したVLMのファインチューニングが必要となるが、データ収集などに伴うコストが課題となる。本研究では、少量データで効率的に説明性能を改善する手法として、マルチモーダルRAG を活用した交通事故リスク説明手法を提案する。提案手法では、少量の手動アノテーションデータを検索及び参照して、未知の画像に対する説明能力を強化することで、基盤モデルと比較して交通事故シーン理解の性能が向上することを確認した。