Japan Association for Medical Informatics

[3-E-1-08] 学部生のWeb試験解答におけるコピー&ペーストが成績に与える影響のテキストマイニングによる推定

*Takeshi Tanaka1 (1. 広島大学 病院 医療情報部)

Undergraduate Education, Medical Informatics Education, Text Mining

[背景]A大学の歯学部(歯科医師、歯科衛生士、歯科技工士に対応した3つの専攻を有する)では2年次生を対象に医療情報学の講義(医療情報倫理、患者の権利、情報セキュリティ、医療情報システム、標準化、医療安全、等)を行っている。成績の90%を決める筆記試験を毎年実施しているが、2020年度はCOVID-19の流行により試験をWeb上で実施した。Web試験はコピー&ペーストによるカンニングを防ぐことが困難であるが幸い明確な同一解答は学生間で見られなかった。しかし語句や言い回しの類似が疑われる解答が散見された。[目的]テキストマイニングの手法を用いて学生間の解答の類似性を調べ、それが成績にどのように影響しているのかを推測する。[方法] 特にカンニングによる不正な利益を得る高得点者と悪影響を受ける低得点者の解答に着目し、解答毎の名詞、動詞、形容詞の出現頻度を元に解答をクラスタリングした(R ver.4.1.0 Windows64bit版を使用)。同じような得点の学生が集まるクラスタを抽出したあと、そのクラスタとは異なる得点帯の解答をサンプリングし、名詞の出現度などに違いがあるかを調べた。[結果]3専攻の本試験受験者90名を対象とした。満点の8割以上を得点している高得点者が集まるクラスタを見つけることはできなかった。しかし特定の低得点者の一群はクラスタリングの方法(距離とグループ分けの定義)を変更しても同一クラスタが形成されるため、このクラスタに着目した。名詞の出現頻度を調べると高得点者および平均程度の得点者の解答と比べて語句「患者」の出現頻度が少ない傾向が見られた。[考察]低得点者のクラスタの学生は試験において効果的でない解答案を共有し試験に用いていた可能性が高いと考える。またその語句の出現頻度は患者の居る実際の場面を想定した具体性の欠如の傾向を示す可能性があると考える。