[PB83] TIMSS2011中学校理科公開問題（日本語版）の項目特性に文書クラスタとの関連度と履修状況が与える影響の一分析
Keywords:項目分析, TIMSS
問題・目的
TIMSS調査は児童生徒の理数の学力がカリキュラムとどのように関連するかについて分析するのに適した国際的な学力調査である。本研究では，日本におけるTIMSS調査のテスト項目の特性とカリキュラムとの関係に着目する。具体的には，各項目の内容が調査対象学年までの国のカリキュラムに含まれているかを示す履修状況が各項目の閾値と識別力の違いを説明するか検討する。
一方で，異なるテスト項目の間に少数の特徴があると仮定し，各項目の問題文の文書データからこの特徴を抽出することができるとすれば，履修状況以外に，この特徴が各項目の閾値や識別力の違いを説明するか検討することが考えられる。文書中の各単語の頻度や単語の各文書中での重みを単語－文書行列の各要素で示し，この行列に対して潜在意味解析等の次元圧縮の方法によってクラスタリングを行い，得られたクラスタを特徴として検討する研究がなされている。本研究では，行列の各要素がゼロ以上であることを考慮した次元圧縮の手法である非負値行列因子分解（Lee & Seung, 1999）によるクラスタリングを行い，各単語と各クラスタとの関連度の大きさ，及び各クラスタと各項目との関連度の大きさに相当する２種類の行列を得る。履修状況だけでなく，各クラスタと各項目との関連度も，閾値と識別力の説明変数として用いる。
方 法
分析対象：TIMSS2011中学校理科公開問題（日本語版）90問の問題文の文書データとこれらが一部でも出題された2,521人の正誤データを用いた。
分析方法：文書データの各項目における単語の頻度をKH coder（樋口，2014）で数えた（四つの選択枝番号と明らかな人名及び原版にはないア・イの記号を除く）。大問形式の項目では，大問の幹部分に用いられた単語の頻度は各小問で均等割りにした。単語－文書行列の各要素には，単語の文書中の重みであるtf-idfを頻度から計算して用いた。単語－文書行列に非負値行列因子分解を行う際には，Ｒ（ver.3. 2. 4）のNMFパッケージ（Gaujoux & Seoighe, 2010）を用いた。クラスタ数は２から25までを仮定し，leeというアルゴリズムでクラスタ毎に30回実行し，コーフェン相関係数が減少し始める最も小さいクラスタ数を選んだ。正誤データを併せた分析では，Fox（2010）を参考に，（特性値が標準正規分布に従うとした）調査対象者側だけでなく項目側も変量要因（閾値と識別力が２変量正規分布に従う）とした項目反応モデルを構成し，閾値と認別力の分散を履修状況やクラスタとの関連度で説明した。配点が２点の項目は１点以上を正答とした。履修状況については，国立教育政策研究所（2013）を参照し，履修で１のダミー変数化を行った。Mplus （ver7.4, Muthén & Muthén, 1998-2015）のMCMCを用いたベイズ推定により分析した。
結果・考察
781行90列の単語－文書行列が得られた。非負値行列因子分解を行った結果，クラスタ数を４とした。Table 1に各クラスタとの関連性が高い語を順に五つずつ示す。
正誤データを併せた分析の結果，履修状況，クラスタ３とクラスタ４の閾値への係数，及びクラスタ３の識別力への係数のHPD区間（95％）がゼロを含まなかった。また，履修状況の識別力への係数のHPD区間（90％）がゼロを含まなかった。
履修している項目の方が易しく識別力は高い傾向にあること，クラスタ４との関連度が大きい項目ほど易しいこと，クラスタ３との関連度が大きい項目ほど難しく識別力は低いことが示唆された。
文 献
Fox, J. P. (2010). Bayesian item response modeling: Theory and applications. New York: Springer.
Gaujoux, R., & Seoighe, C. (2010). A flexible R package for nonnegative matrix factori- zation. BMC Bioinformatics, 11:367.
樋口耕一（2014）．社会調査のための計量テキスト分析：内容分析の継承と発展を目指して ナカニシヤ出版
国立教育政策研究所（編）（2013）．TIMSS2011 理科教育の国際比較：国際数学・理科教育動向調査の2011年調査報告書 明石書店
Lee, D., & Seung, H. (1999). Learning the parts of objects by non-negative matrix factori- zation. Nature, 401, 788-791.
Muthén, L. K., & Muthén, B. O. (1998–2015). Mplus user’s guide. Seventh edition. Los Angeles, CA: Muthén & Muthén.
※科研費（25381060）の助成を受けた。
TIMSS調査は児童生徒の理数の学力がカリキュラムとどのように関連するかについて分析するのに適した国際的な学力調査である。本研究では，日本におけるTIMSS調査のテスト項目の特性とカリキュラムとの関係に着目する。具体的には，各項目の内容が調査対象学年までの国のカリキュラムに含まれているかを示す履修状況が各項目の閾値と識別力の違いを説明するか検討する。
一方で，異なるテスト項目の間に少数の特徴があると仮定し，各項目の問題文の文書データからこの特徴を抽出することができるとすれば，履修状況以外に，この特徴が各項目の閾値や識別力の違いを説明するか検討することが考えられる。文書中の各単語の頻度や単語の各文書中での重みを単語－文書行列の各要素で示し，この行列に対して潜在意味解析等の次元圧縮の方法によってクラスタリングを行い，得られたクラスタを特徴として検討する研究がなされている。本研究では，行列の各要素がゼロ以上であることを考慮した次元圧縮の手法である非負値行列因子分解（Lee & Seung, 1999）によるクラスタリングを行い，各単語と各クラスタとの関連度の大きさ，及び各クラスタと各項目との関連度の大きさに相当する２種類の行列を得る。履修状況だけでなく，各クラスタと各項目との関連度も，閾値と識別力の説明変数として用いる。
方 法
分析対象：TIMSS2011中学校理科公開問題（日本語版）90問の問題文の文書データとこれらが一部でも出題された2,521人の正誤データを用いた。
分析方法：文書データの各項目における単語の頻度をKH coder（樋口，2014）で数えた（四つの選択枝番号と明らかな人名及び原版にはないア・イの記号を除く）。大問形式の項目では，大問の幹部分に用いられた単語の頻度は各小問で均等割りにした。単語－文書行列の各要素には，単語の文書中の重みであるtf-idfを頻度から計算して用いた。単語－文書行列に非負値行列因子分解を行う際には，Ｒ（ver.3. 2. 4）のNMFパッケージ（Gaujoux & Seoighe, 2010）を用いた。クラスタ数は２から25までを仮定し，leeというアルゴリズムでクラスタ毎に30回実行し，コーフェン相関係数が減少し始める最も小さいクラスタ数を選んだ。正誤データを併せた分析では，Fox（2010）を参考に，（特性値が標準正規分布に従うとした）調査対象者側だけでなく項目側も変量要因（閾値と識別力が２変量正規分布に従う）とした項目反応モデルを構成し，閾値と認別力の分散を履修状況やクラスタとの関連度で説明した。配点が２点の項目は１点以上を正答とした。履修状況については，国立教育政策研究所（2013）を参照し，履修で１のダミー変数化を行った。Mplus （ver7.4, Muthén & Muthén, 1998-2015）のMCMCを用いたベイズ推定により分析した。
結果・考察
781行90列の単語－文書行列が得られた。非負値行列因子分解を行った結果，クラスタ数を４とした。Table 1に各クラスタとの関連性が高い語を順に五つずつ示す。
正誤データを併せた分析の結果，履修状況，クラスタ３とクラスタ４の閾値への係数，及びクラスタ３の識別力への係数のHPD区間（95％）がゼロを含まなかった。また，履修状況の識別力への係数のHPD区間（90％）がゼロを含まなかった。
履修している項目の方が易しく識別力は高い傾向にあること，クラスタ４との関連度が大きい項目ほど易しいこと，クラスタ３との関連度が大きい項目ほど難しく識別力は低いことが示唆された。
文 献
Fox, J. P. (2010). Bayesian item response modeling: Theory and applications. New York: Springer.
Gaujoux, R., & Seoighe, C. (2010). A flexible R package for nonnegative matrix factori- zation. BMC Bioinformatics, 11:367.
樋口耕一（2014）．社会調査のための計量テキスト分析：内容分析の継承と発展を目指して ナカニシヤ出版
国立教育政策研究所（編）（2013）．TIMSS2011 理科教育の国際比較：国際数学・理科教育動向調査の2011年調査報告書 明石書店
Lee, D., & Seung, H. (1999). Learning the parts of objects by non-negative matrix factori- zation. Nature, 401, 788-791.
Muthén, L. K., & Muthén, B. O. (1998–2015). Mplus user’s guide. Seventh edition. Los Angeles, CA: Muthén & Muthén.
※科研費（25381060）の助成を受けた。