[3A6-GS-10] AI応用：大規模言語モデル

[3A6-GS-10-02] 生命保険業務データによるマルチモーダルLLMの性能評価

〇清水 玉緒¹、坂内 響¹、大西 啓晃¹ (1. 第一生命テクノクロス株式会社)

キーワード：産業応用

生命保険会社の照会対応業務へマルチモーダルLLMを適用するにあたり、業務データを用いたベンチマークを構築し複数モデルの実性能を比較評価した。LLMに図表を含む社内のマニュアルや基準書を参照させたうえで回答生成させることを想定し、Claude 3.5 Sonnet、Gemini 1.5 Pro、GPT-4oの３モデルを対象に、ドキュメントQA、画像内容のテキスト化タスクを中心に評価を行った。結果として、ドキュメントQAではClaude 3.5 Sonnetが最高精度を示し、画像内容のテキスト化タスクではGemini 1.5 Proが最高精度を示した。また社内ドキュメントに含まれるLLMが認識困難な図表の特徴を確認した。これらの評価を通じて、業務データを用いたベンチマークによって、公開されている汎用的なベンチマークによる評価とは異なる結果を得られることを確認した。