1:00 PM - 3:00 PM
[PH76] 学力の発達を追跡するための垂直尺度化について
Keywords:垂直尺度, 到達度, 習熟度
学力発達の追跡
「目標に準拠した評価」には，学年をまたいだ個人の発達を客観的に追跡できる尺度が必須である。そのために複数のテストの対応づけ（linking）の下位概念に当たる垂直尺度化（vertical scaling）による得点比較を可能にする技術の活用が期待される。本稿ではJSPS科研「発達段階をトレースできる到達度評価のためのIRT垂直尺度構成の試み」を実施するに当たって必要となる垂直尺度化に関する知見を整理・展望する。
垂直尺度化(vertical scaling)
垂直尺度化は，学力の経年比較分析などで用いられている等化（equating）とその概念を混同されることがあるが，厳密には得点を比較可能なものにする垂直尺度化と得点を交換可能なものにする等化とでは，必要となる条件の厳しさが大きく異なる。前者に必要な条件は，1）構成概念は類似している，2）テストの難易度は異なる水準である，3）テストの信頼性は近い水準にある，4）受験者の母集団は異なる，であり（野口・大隅，2014），これらの条件は教科の難易度が大きく異なる小中学校のカリキュラムに沿った発達の伸びを測定することに適している。さらに心理計量モデル(Psychometric model)としてIRTモデルを採用することで共通尺度化が行いやすく，かつ間隔尺度水準の尺度得点を得点報告に用いることができる。
データ収集デザイン
垂直尺度化を行うためには通常のテストではあまり用いられないデータ収集デザインが採用される。具体的には，共通項目デザイン，等価グループデザイン，均衡型単一グループデザイン，尺度化デザインなどである。デザインを選ぶ際にはコストや教育的な影響を考慮する必要がある。共通項目デザインの共通項目は隣接している学年どちらでもすでに学んでいる内容を，また等価グループデザインは，同一学年の生徒に一部異なるテスト問題を受験させることになるため，フィードバック時に注意が必要となることなどである。
さらに本研究では小学校４年生から中学校２年生の５学年集団を３年間追跡するため，コホート調査デザインを基本的には採用する。
異なるテストの共通尺度化
複数のテストの項目反応データをもとに，テスト得点の共通尺度化が行われる。そこでは，どの学年の組み合わせで項目パラメータと能力分布を推定するかによって方法が分かれる。全学年の項目反応データを1つのデータ行列に配置して項目パラメータの推定を行う同時推定（concurrent estimation），各学年のデータから別々に項目パラメータを推定し，共通項目などを利用して異なる学年レベルを共通尺度化する独立推定（separate estimation）などの方法がある。独立推定では隣接学年の尺度に対し線形尺度変換を行う他に，項目パラメータの推定値に等化係数の推定法（mean/mean法，mean/sigma法など）を援用するなどして，異なる尺度を結びつける。
垂直尺度上の学力定義の課題
テストで測定される学力という構成概念を，学校のカリキュラムに沿って，しかも複数の学年を包括して考えることは，非常に重要な問題である。1つの教科であっても複数の下位領域が存在する。さらに，学年が上がるにつれて学習内容は難しくなるが，難しい問題になるほど必要とされる能力は複雑に，多次元なものになる。すなわちテストの内容と難易度の違いが尺度の解釈を大きく制限してしまうのである。IRTモデルを利用して垂直尺度化をおこなう場合，複数学年の構成概念では異なる次元の学力が互いに錯綜する可能性が高く，一次元性の仮定が厳密には成り立たない場合が想定される。そのような場合には，パラメータへの影響を最小限に抑えるために，独立推定が推奨される（Young & Tong, 2016）。
垂直尺度化における成長の定義の課題
垂直尺度はすべての学年を通して学力の伸びを知ることができる。しかし，学年や教科ごとの平均成長率と得点のばらつきは異なる。学力の定義とも相まって垂直尺度上の成長の定義も困難である。そのため，我が国においては学習指導要領等に結びついて成長を定義するなどの方策が考えられる。さらにその成長量の数値化には教育的な配慮が必要になるなどが課題となる。
得点報告
IRTモデルを利用した得点報告では，最尤推定法やベイズ推定法を使って推定した能力値θの推定値を非線形変換することで，教育的に適切な尺度得点を作ることができる。
さらに，尺度得点は習熟度（到達度）との関連付けを行うことで，教師や児童生徒にとっての得点解釈を助けることができる。
謝 辞
本研究はJSPS科研費16H03731の助成を受けたものです。
「目標に準拠した評価」には，学年をまたいだ個人の発達を客観的に追跡できる尺度が必須である。そのために複数のテストの対応づけ（linking）の下位概念に当たる垂直尺度化（vertical scaling）による得点比較を可能にする技術の活用が期待される。本稿ではJSPS科研「発達段階をトレースできる到達度評価のためのIRT垂直尺度構成の試み」を実施するに当たって必要となる垂直尺度化に関する知見を整理・展望する。
垂直尺度化(vertical scaling)
垂直尺度化は，学力の経年比較分析などで用いられている等化（equating）とその概念を混同されることがあるが，厳密には得点を比較可能なものにする垂直尺度化と得点を交換可能なものにする等化とでは，必要となる条件の厳しさが大きく異なる。前者に必要な条件は，1）構成概念は類似している，2）テストの難易度は異なる水準である，3）テストの信頼性は近い水準にある，4）受験者の母集団は異なる，であり（野口・大隅，2014），これらの条件は教科の難易度が大きく異なる小中学校のカリキュラムに沿った発達の伸びを測定することに適している。さらに心理計量モデル(Psychometric model)としてIRTモデルを採用することで共通尺度化が行いやすく，かつ間隔尺度水準の尺度得点を得点報告に用いることができる。
データ収集デザイン
垂直尺度化を行うためには通常のテストではあまり用いられないデータ収集デザインが採用される。具体的には，共通項目デザイン，等価グループデザイン，均衡型単一グループデザイン，尺度化デザインなどである。デザインを選ぶ際にはコストや教育的な影響を考慮する必要がある。共通項目デザインの共通項目は隣接している学年どちらでもすでに学んでいる内容を，また等価グループデザインは，同一学年の生徒に一部異なるテスト問題を受験させることになるため，フィードバック時に注意が必要となることなどである。
さらに本研究では小学校４年生から中学校２年生の５学年集団を３年間追跡するため，コホート調査デザインを基本的には採用する。
異なるテストの共通尺度化
複数のテストの項目反応データをもとに，テスト得点の共通尺度化が行われる。そこでは，どの学年の組み合わせで項目パラメータと能力分布を推定するかによって方法が分かれる。全学年の項目反応データを1つのデータ行列に配置して項目パラメータの推定を行う同時推定（concurrent estimation），各学年のデータから別々に項目パラメータを推定し，共通項目などを利用して異なる学年レベルを共通尺度化する独立推定（separate estimation）などの方法がある。独立推定では隣接学年の尺度に対し線形尺度変換を行う他に，項目パラメータの推定値に等化係数の推定法（mean/mean法，mean/sigma法など）を援用するなどして，異なる尺度を結びつける。
垂直尺度上の学力定義の課題
テストで測定される学力という構成概念を，学校のカリキュラムに沿って，しかも複数の学年を包括して考えることは，非常に重要な問題である。1つの教科であっても複数の下位領域が存在する。さらに，学年が上がるにつれて学習内容は難しくなるが，難しい問題になるほど必要とされる能力は複雑に，多次元なものになる。すなわちテストの内容と難易度の違いが尺度の解釈を大きく制限してしまうのである。IRTモデルを利用して垂直尺度化をおこなう場合，複数学年の構成概念では異なる次元の学力が互いに錯綜する可能性が高く，一次元性の仮定が厳密には成り立たない場合が想定される。そのような場合には，パラメータへの影響を最小限に抑えるために，独立推定が推奨される（Young & Tong, 2016）。
垂直尺度化における成長の定義の課題
垂直尺度はすべての学年を通して学力の伸びを知ることができる。しかし，学年や教科ごとの平均成長率と得点のばらつきは異なる。学力の定義とも相まって垂直尺度上の成長の定義も困難である。そのため，我が国においては学習指導要領等に結びついて成長を定義するなどの方策が考えられる。さらにその成長量の数値化には教育的な配慮が必要になるなどが課題となる。
得点報告
IRTモデルを利用した得点報告では，最尤推定法やベイズ推定法を使って推定した能力値θの推定値を非線形変換することで，教育的に適切な尺度得点を作ることができる。
さらに，尺度得点は習熟度（到達度）との関連付けを行うことで，教師や児童生徒にとっての得点解釈を助けることができる。
謝 辞
本研究はJSPS科研費16H03731の助成を受けたものです。