[1G4-OS-26a] 日常生活知識とAI

[1G4-OS-26a-04] 第2回国際ナレッジグラフ推論チャレンジ：日常生活に関するマルチモーダルデータからの行動の予測に対するLLMへの適用

○鵜飼 孝典^1,2、江上 周作²,川村 隆浩^3,2,古崎 晃司^4,2,森田 武史^5,2,松下 京群^2,1,小川 智広⁵,吉岡 寛悟⁵,平野 司⁵,尾﨑 健吾⁵,福田 賢一郎² (1. 富士通株式会社、2. 国立研究開発法人産業技術総合研究所、3. 農業・食品産業技術総合研究機構、4. 大阪電気通信大学、5. 青山学院大学)

[1G5-OS-26b] 日常生活知識とAI 17:40 〜 18:00 にて発表

キーワード：ナレッジグラフ、マルチモーダルLLM、動画認識

我々は、2024年2月8日に第2回国際ナレッジグラフ推論チャレンジの最終発表会をInternational Conference on Semantic Computing の併設ワークショップとして開催した。本チャレンジでは、日常生活の一部を3Dシミュレータを使って生成した動画とナレッジグラフから動作、対象物、場所に関する統計値を求めることをメインタスクとした。
本チャレンジの特徴は、ナレッジグラフの一部を欠損させたデータを提供することで、動画からの情報抽出、ナレッジグラフに対する機械学習を用いた予測により、欠損した情報を補うことが必要になる点である。
本発表では、今回の推論チャレンジのデータセットとタスクの概要を示し、4つの応募作品を紹介する。応募作品においては、マルチモーダルLLMを用いたものが複数あったため、これらを比較して、今回のタスクにおける現在のマルチモーダルLLMに対する課題と期待についても述べる。