[3N1-GS-7] 画像音声メディア処理：

[3N1-GS-7-01] 重み付き残差接続による境界品質を考慮したゼロショットセグメンテーション手法の提案

〇永見 陽輝¹、櫻井 洸介¹、山極 綾子¹、後藤 正幸¹ (1. 早稲田大学)

キーワード：ゼロショットセグメンテーション、RobustSAM、劣化画像、境界品質、残差接続

ゼロショットセグメンテーションは，未学習の物体も検出する画像セグメンテーションタスクである．その代表的な基盤モデルであるSAMは，点などのプロンプトで対象物体を指定することにより，そのプロンプトが示す未学習の物体もピクセル単位で高精度に出力できる．さらに，SAMを劣化画像に対応させた手法として， RobustSAMが提案されている．RobustSAMは，SAMに劣化情報を除去する機構を組み込むことで劣化画像に対応している．一方，クリア画像に対して識別領域が広くなり，境界付近の品質がSAMに比べ低下してしまうが，これは劣化情報を除去する機構により境界情報も同時に除去してしまうためだと考えられる．そこで本研究では，RobustSAMに加重平均を用いた残差接続の機構を追加することで，劣化情報を除去する前の特徴量を柔軟に考慮できる改良モデルを提案する．このような改良により，クリア画像における境界品質の向上が可能となる．さらに，実データを用いた実験を通して，提案手法が劣化画像に対する精度を維持しつつ，クリア画像に対する精度を向上させたことを示す．