[3Win5] ポスターセッション3

[3Win5-56] OSWorld-JP：言語を考慮した評価のための日本語版コンピュータユースベンチマーク

〇庄司 文武¹、吉田 雄紀¹ (1.カラクリ株式会社)

キーワード：大規模言語モデル、コンピューターユース、ベンチマーク、マルチモーダル

近年、GUIおよびCLIインターフェースを介したコンピュータ操作の自動化において、大規模言語モデル（LLM）を搭載したエージェントの活用が著しく進展している。しかし、既存のエージェント評価ベンチマークは主に英語環境向けに最適化されているため、日本語環境下での評価には不適合である。本研究はこの課題に対応するため、プロンプトの翻訳、システム環境のローカライズ、並びにタスク関連ファイルの改変を通じ、既存のエージェント評価ベンチマークOSWorldの日本語版であるOSWorld-JPを開発した。
また本研究ではOSWorld-JPを用いた評価実験を行い、GPT-4oおよびGemini-1.5-Proを対象とし、39のタスクにおけるパフォーマンスを測定した。いずれのモデルもタスク成功率が3%以下と極めて低い結果となった。これらの結果は、既存のLLMが日本語環境下でのコンピュータ操作に対して十分な性能を発揮していないことを示唆している。今後は、日本文化を考慮したタスクの導入によるベンチマークの改善及び多様な言語環境下におけるエージェントの性能向上に向けた取り組みが必要である。