[2T5-OS-5b] ヒューマン・イン・ザ・ループAI

[2T5-OS-5b-04] ファッションコーディネートの説明文生成における人間の評価と相関する評価関数の探索

藤崎 勇哉^1,2、〇岸本 将志¹、田崎 夏代¹、都筑 友昭¹ (1. 株式会社DROBE、2. 北陸先端科学技術大学院大学)

キーワード：人工知能、アライメント、NLGシステムによって生成された文章の評価

大規模言語モデル（LLM）を実世界で適用するには，そのモデルによって生み出されるテキストが人間にとって価値があり，人間にとって受け入れられる品質であることが重要である．この研究では，LLMが生成したファッションコーディネートの説明文について人間の評価と相関のある評価関数を見つけ出すことを目指す．このような評価関数を特定することができれば，それを使用してファッションコーディネートの説明文生成モデルの精度を人間の価値観に沿った方向へ向上させ，最終的には説明文生からその評価にいたるまでのプロセスを自動化できる可能性がある． 本研究では，LLMによって生成されたファッションコーディネートの説明文を熟練したファッションスタイリストが評価し，その評価スコアを元にデータセットを作成した．このデータセットを使用し，人間の評価と相関する評価関数を探索した．対象の候補は抽象的要約（Abstractive Summarization）タスクで使用される評価関数とした．