[1J3-OS-10a] 大規模言語モデルとデータサイエンス

[1J3-OS-10a-01] 大規模言語モデルを用いた推薦システムにおけるセレンディピティ判断の検討

〇徳武 悠¹、岡本 一志¹ (1. 電気通信大学)

キーワード：情報推薦、セレンディピティ、大規模言語モデル、価値判断

推薦システムにおいてユーザの嗜好に過剰に専門化することを防ぐために，セレンディピティ指向推薦システムが提案されている．しかし，セレンディピティの判断はユーザの感情に起因するため，正確な評価が困難であるという課題がある．そこで，様々なタスクを実行できる大規模言語モデル（LLM）が持つ豊富な知識を用いてこの問題の解決を試みる．本研究では，その初歩段階としてLLMによるセレンディピティの判断が人間の判断とどの程度一致するかを検証する．具体的には，GPT-3.5を用いてユーザの評価履歴に基づいて推薦されたアイテムがセレンディピティか否かを判断する．アノテーションが行われたベンチマークデータセットを用いてLLMによる判断精度を評価している．実験結果より，提案法はベースライン手法と比べてAccuracy, Precision, Macro-F1値でそれぞれ最大0.6，4.9，1.5ポイントの性能向上を確認している．