[PF070] 局所依存データに対するテスト情報量の推定
キーワード：局所依存性, テスト情報量, 項目反応理論
問題と目的
近年日本においてもその利用が増加している項目反応理論とは, テストの作成・実施・評価に資する様々な利点を有したテスト理論である。この項目反応理論に基づきテストを作成すると, テスト情報量と呼ばれる関数の値を用いることにより，学力など特性値の推定精度をその水準ごとに評価することが可能となる。ところで，池田（1992）や石塚・中畝・内田・前川（2001）でも述べられているように，日本の学力試験の特徴として大問形式の出題が多いことが挙げられる。このような大問形式の問題においては，項目反応理論における重要な仮定の一つである局所独立性の仮定（Lord & Novick, 1968）が満たされない。現時点では項目反応理論を用いてテストの分析を行う際に局所独立性を仮定することが一般的であるから （e.g., Yang & Gao, 2008）このような項目反応間の局所依存性はテスト情報量の推定に対しても何らかの影響を与えるものと考えられる。実際，Ip（2010）や石塚他（2001），Keller, Swaminathan, & Sireci（2003），Wainer and Wang（2000）といった先行研究においては, 局所依存関係にあると考えられるデータに対し局所独立性を仮定してテスト情報量の推定を行った結果，局所依存性を考慮した場合に比べてテスト情報量が過大推定される傾向にあったことが報告されている。このように先行研究では局所依存性の影響を主に実データの分析を通して検討してきたのだが，実際にテストを作成・評価・運用する場面へ知見を応用するという観点からは，真のテスト情報量との比較が可能なシミュレーションを通して局所依存性の影響を定量的に把握する必要があると考えられる。そこで本研究では, 局所依存性が局所独立性を仮定したテスト情報量の推定に対してどのような影響を及ぼすのか，シミュレーションを実施して検討を行った。
方法
本研究では，1）局所依存性の生じているデータを発生させて，2）これに対し局所独立性を仮定するモデルと局所依存性を考慮したモデルをあてはめて母数の推定を行い，3）得られた推定値から分析モデルごとにテスト情報量の算出を行った。そして, 4）1~3の手続きを多数回繰り返し, 5）分析モデルごとに得られた多数のテスト情報量の推定値を利用して推定量のバイアス・平均二乗誤差平方根を算出，6）モデル間でこれらの統計量に関し比較を行った。なお，局所独立性を仮定する分析モデルとしては以下の2パラメタ・ロジスティックモデル（2PLM）を使用し，
Pj(θi) = {1 + exp[-1.7aj(θi - bj)]}-1
局所依存データの発生モデルおよび局所依存性を考慮した分析モデルとしては以下の2値型のベイジアンテストレットモデル（BTM）を使用した。
Pj(θi) = {1 + exp[-1.7aj(θi - bj -γid(j))]}-1
ここで，上の2つの式に含まれるajは項目jの識別力を表しており，bjは項目jの困難度を表している。また，θiは受験者iの特性値を表しており，Pj(θi)は受験者iが項目jに正答する確率を表している。さらに，BTMに含まれるγid(j)は項目jの含まれる大問d(j)と受験者iとの交互作用を表す母数となっている。シミュレーションを行う際には，テストが局所依存関係にある4つの項目群から構成されるものとし，各項目群は5つの項目から構成されると仮定した。また，受験者数，局所依存関係にある項目の数，4つの項目群の局所依存度を要因として設定し，これらの要因とバイアス・平均二乗誤差平方根の関係についても検討を行った。なお，各分析モデルの母数の推定はマルコフ連鎖モンテカルロ法により行った。
結果と考察
今回検討した全ての条件において, 2PLMを使用した場合のバイアスはBTMを使用した場合のものよりも0.456以上正の方向に大きくなっており，平均二乗誤差平方根も0.121以上大きくなっていた。ここで，バイアスは推定量の平均的な過大/過小推定の傾向を示しており，平均二乗誤差平方根は推定量の平均的な推定誤差の大きさを示している。したがって，これらの結果からは，局所依存性が生じていると考えられるデータに対して局所独立性を仮定してテスト情報量の推定を行うと，当該テスト情報量が大きく過大推定されてしまうため，局所依存性が生じているデータよりテスト情報量の推定を行う際には，その局所依存性を考慮する必要があることがうかがえる。
近年日本においてもその利用が増加している項目反応理論とは, テストの作成・実施・評価に資する様々な利点を有したテスト理論である。この項目反応理論に基づきテストを作成すると, テスト情報量と呼ばれる関数の値を用いることにより，学力など特性値の推定精度をその水準ごとに評価することが可能となる。ところで，池田（1992）や石塚・中畝・内田・前川（2001）でも述べられているように，日本の学力試験の特徴として大問形式の出題が多いことが挙げられる。このような大問形式の問題においては，項目反応理論における重要な仮定の一つである局所独立性の仮定（Lord & Novick, 1968）が満たされない。現時点では項目反応理論を用いてテストの分析を行う際に局所独立性を仮定することが一般的であるから （e.g., Yang & Gao, 2008）このような項目反応間の局所依存性はテスト情報量の推定に対しても何らかの影響を与えるものと考えられる。実際，Ip（2010）や石塚他（2001），Keller, Swaminathan, & Sireci（2003），Wainer and Wang（2000）といった先行研究においては, 局所依存関係にあると考えられるデータに対し局所独立性を仮定してテスト情報量の推定を行った結果，局所依存性を考慮した場合に比べてテスト情報量が過大推定される傾向にあったことが報告されている。このように先行研究では局所依存性の影響を主に実データの分析を通して検討してきたのだが，実際にテストを作成・評価・運用する場面へ知見を応用するという観点からは，真のテスト情報量との比較が可能なシミュレーションを通して局所依存性の影響を定量的に把握する必要があると考えられる。そこで本研究では, 局所依存性が局所独立性を仮定したテスト情報量の推定に対してどのような影響を及ぼすのか，シミュレーションを実施して検討を行った。
方法
本研究では，1）局所依存性の生じているデータを発生させて，2）これに対し局所独立性を仮定するモデルと局所依存性を考慮したモデルをあてはめて母数の推定を行い，3）得られた推定値から分析モデルごとにテスト情報量の算出を行った。そして, 4）1~3の手続きを多数回繰り返し, 5）分析モデルごとに得られた多数のテスト情報量の推定値を利用して推定量のバイアス・平均二乗誤差平方根を算出，6）モデル間でこれらの統計量に関し比較を行った。なお，局所独立性を仮定する分析モデルとしては以下の2パラメタ・ロジスティックモデル（2PLM）を使用し，
Pj(θi) = {1 + exp[-1.7aj(θi - bj)]}-1
局所依存データの発生モデルおよび局所依存性を考慮した分析モデルとしては以下の2値型のベイジアンテストレットモデル（BTM）を使用した。
Pj(θi) = {1 + exp[-1.7aj(θi - bj -γid(j))]}-1
ここで，上の2つの式に含まれるajは項目jの識別力を表しており，bjは項目jの困難度を表している。また，θiは受験者iの特性値を表しており，Pj(θi)は受験者iが項目jに正答する確率を表している。さらに，BTMに含まれるγid(j)は項目jの含まれる大問d(j)と受験者iとの交互作用を表す母数となっている。シミュレーションを行う際には，テストが局所依存関係にある4つの項目群から構成されるものとし，各項目群は5つの項目から構成されると仮定した。また，受験者数，局所依存関係にある項目の数，4つの項目群の局所依存度を要因として設定し，これらの要因とバイアス・平均二乗誤差平方根の関係についても検討を行った。なお，各分析モデルの母数の推定はマルコフ連鎖モンテカルロ法により行った。
結果と考察
今回検討した全ての条件において, 2PLMを使用した場合のバイアスはBTMを使用した場合のものよりも0.456以上正の方向に大きくなっており，平均二乗誤差平方根も0.121以上大きくなっていた。ここで，バイアスは推定量の平均的な過大/過小推定の傾向を示しており，平均二乗誤差平方根は推定量の平均的な推定誤差の大きさを示している。したがって，これらの結果からは，局所依存性が生じていると考えられるデータに対して局所独立性を仮定してテスト情報量の推定を行うと，当該テスト情報量が大きく過大推定されてしまうため，局所依存性が生じているデータよりテスト情報量の推定を行う際には，その局所依存性を考慮する必要があることがうかがえる。