[1M4-OS-14a] AI諸技術の発展に基づく学びのモデルの高度化と展望

[1M4-OS-14a-01] 大規模言語モデルによる内容を考慮し識別力も制御可能な難度変更

〇江原 遥¹ (1. 東京学芸大学)

[[オンライン]]

キーワード：教育AI、識別力、難しさ、大規模言語モデル

大規模言語モデルは近年急速に注目を集めている．大規模言語モデルを用いた教育用の設問生成のためには，一般の教員や利用者にも指定しやすい難度尺度が求められる．内容を考慮した難度尺度は，従来，特に自然言語処理分野では，専門家に見せ内容を考慮したアノテーションを行っていた．しかし，こうした尺度はアノテーション基準ごとに異なるため，当該のアノテーションに詳しくない一般の教員や利用者には解釈しにくいものになってきているうえ，大規模言語モデルにも理解されにくい．
本研究ではより教員にも大規模言語モデルにも解釈しやすい難度尺度として，ある受験者集団にある項目を受験させたときの正答率分布を提示し，この分布を用いて難度尺度を指示する手法を提案する．実験を通じ，提案手法で難度尺度が制御できていることを定性的に確認したほか，従来制御が難しかった設問の識別力も，制御できていると思われる結果を定性的に得た．