[3Win5] ポスターセッション3

[3Win5-35] 質問の言語表現の差異が大規模言語モデルの回答傾向に与える影響の分析

〇高山 隼矢¹、大萩 雅也¹、水本 智也¹、吉川 克正¹ (1.SB Intuitions株式会社)

キーワード：大規模言語モデル、質問応答、自然言語処理

大規模言語モデル（LLM）はしばしば、同じ意図を持つが言語表現が異なる質問に対して互いに一貫しない回答を生成することがある。この現象は、タスクの達成率の低下や、ユーザへの過度な同調を誘発する可能性がある。本研究では、選択肢が "はい" / "いいえ" の2択となる質問応答データを用いて、質問の言語表現が回答傾向にどのように影響するかを複数のモデルに対して調査する。具体的には、対義・類義表現への置換・モダリティ表現の変更など様々なパターンで質問の言い換えを用意し、言い換え前後での「はい」「いいえ」の出力確率を比較する。多くのモデルにおいて、モダリティ表現の付加や対義表現への置換によって、それぞれ回答の一貫性が低下する傾向が見られることが示された。また、この傾向は事前学習の時点で獲得されていることや、Few-Shot 事例によって一定の改善が可能であることも示した。