[3Win5] Poster session 3

[3Win5-102] Towards Software Development with Multimodal LLMs: Exploring Software Diagram Collection and Evaluation

〇Yui Obara¹, Mai Takahashi¹, Hatsuho Nakazawa¹, Yuka Akinobu², Toshiyuki Kurabayashi², Kimio Kumamitsu¹ (1.Japan Women's University, 2.NTT Software Innovation Center)

Keywords:Multimodal LLM, Software Engineering, Image Recognition, Benchmark Development

近年，ソフトウェア開発における大規模言語モデル（LLM）の活用が注目を集めている．しかし，従来のLLMはテキストのみを扱うため，設計や構造を視覚的に表現するUML図や業務フロー図といった図表を十分に活用できなかった．マルチモーダルLLMは視覚情報を補完する能力を持ち，ソフトウェア開発に必須な存在になると期待される．
課題は，現状のマルチモーダルLLMに十分なソフトウェア開発の図表を理解する十分な能力があるかである．我々は，ソフトウェア開発工程ごとに関連する図表を広範囲に収集し，マルチモーダルLLMの能力を体系的に評価するフレームワークを整備している．本稿では，マルチモーダルLLMによるソフトウェア開発への適用可能性を議論する．