[3Xin4] ポスターセッション1

[3Xin4-25] 結晶性知能の測定課題における採点自動化の予備的検討

〇岡 隆之介¹、楠見 孝²、内海 彰³ (1.三菱電機株式会社、2.京都大学大学院教育学研究科、3.電気通信大学大学院情報理工学研究科)

キーワード：結晶性知能、知能検査、自動採点

結晶性知能とは、文化・教育・そのほかの体験を通して獲得される知識のことを指す。結晶性知能はWAISと呼ばれる標準化された知能検査によって評価されることが多い。WAISは類似などの、言語理解に関する質問に対する回答を通して評価される。結晶性知能の検査の採点は、事前に検査で用意された採点基準に照らして、臨床的なトレーニングを受けた人間が行ってきたが、機械による代替が可能である可能性がある。本研究では、結晶性知能の一側面である類似に注目して、類似を測定する検査として開発中の日本語版Semantic Similarity Testにおいて自動採点が可能であるかに関する予備的検討を行う。参加者の回答を3種類のラベル（2: 2つの単語の関係性を完全に捉えている，1: 2つの単語の関係性を部分的に捉えている，0: 不正確な回答）に分類するBERTをベースとしたモデルを、2種類のアプローチ（参加者の回答をデータとする、採点基準表をデータとする）で学習し、正解率とF1値を評価した。結果、採点基準表に基づくアプローチの方が性能が高かった。結果に対する文の質と擬似ラベルの数による影響を議論した。