[PF082] ルーブリックとIRT尺度値との関係
理科の電力に関するパフォーマンス課題を例に
Keywords:項目反応理論, パフォーマンスアセスメント, ルーブリック
問題と目的
思考力・判断力・表現力といったいわゆる活用力が学力の要素として重視される近年の動向の中で，これらの力を測定する手法としてパフォーマンスアセスメントが注目されている。しかしながら，パフォーマンスアセスメントは多様な学力を反映できる一方で，主観的な判断から逃れられないという問題を抱えている。この問題を解消するために，評価基準であるルーブリックの作成が重要な役割を果たす。しかしながら，ほとんどのルーブリックが作成者の経験等に基づいて作成されているのが現状である。したがって，より客観性を保つために，ルーブリックは信頼性の高い情報を基にして作成される必要がある。そこで，本研究では，項目反応理論(IRT)を用いて推定された尺度値θをもつそれぞれの受検者が，実際にどのようなパフォーマンスをするのかを探索的に検討する。ここでは，佐藤・柴山(2013)で提案されたルーブリック作成の手法を理科の電力に関するパフォーマンス課題に適用した具体例を示す。
方法
対象 宮城県内公立中学校第2学年1学級37名。
手続き 客観式調査(理科)，パフォーマンス課題の2つの問題冊子に解答してもらった。配布は当該学級の理科担当教員による。
課題構成 ○客観式調査(理科)…新潟県における平成18年度「全県学力調査」を使用し，未履修項目等を削除した(全15問)。○パフォーマンス課題…豆電球の明るさについて問う問題。4つの選択枝と選択理由を記述する欄からなる。この問題に正答するためには，電力とは電流と電圧の積であることを理解し，その計算過程において抵抗や回路に着目する必要がある。
各パラメタの推定 項目パラメタ(識別力，困難度)の推定には，新潟県における平成18年度「全県学力調査」のデータ(受検者：中学2年生21520名，2007年1月実施)を用いた。受検者パラメタ(尺度値θ)の推定は最尤法による。なお，これらのパラメタ推定にはEasyEstimation(熊谷，2009)を使用した。
結果と考察
欠席者3名を除外した34名が分析対象者となった。全問正答者は6名，この6名を除いたθの平均値は-0.02，標準偏差0.96，最小値-1.98，最大値1.76であった。θについて，-1.98～-0.50をL群（N=11），-0.43～0.74をM群(N=11)，0.98～1.76と全問正答者をH群(N=12)とレベル別に分類し，グループごとの選択枝の正答率を算出した。その結果，L群とH群の正答率がM群よりも高くなり，V字型の正答率曲線を描いた。さらに受検者の具体的なパフォーマンスを検討するために，選択枝を選ぶ際に着目した点を「電流」，「電圧」，「抵抗」，「回路」の4つに分類し，グループごとの傾向を分析した。その結果，「電流」，「抵抗」，「回路」に関しては，学力群のレベルが高くなるにしたがって着目する受検者が増加したが，「電圧」に関してはL群で1名，H群で2名が着目するにとどまった。このうち，「回路」と豆電球の関係については，どのグループにおいても，「直列―明るい」，「並列―暗い」という思い込みが多いことが明らかとなった。また，θの値が低くなるにしたがって「並列回路のほうが暗そう」といった推量の記述が多くみられるようになった。これらの結果から，学力群のレベルが高くなるにつれて，電力が最小(最大)になる要因を多方面から知識を用いて検討できるといえる。
【謝辞】本研究はJSPS科研費25380867の助成を受けたものです。
思考力・判断力・表現力といったいわゆる活用力が学力の要素として重視される近年の動向の中で，これらの力を測定する手法としてパフォーマンスアセスメントが注目されている。しかしながら，パフォーマンスアセスメントは多様な学力を反映できる一方で，主観的な判断から逃れられないという問題を抱えている。この問題を解消するために，評価基準であるルーブリックの作成が重要な役割を果たす。しかしながら，ほとんどのルーブリックが作成者の経験等に基づいて作成されているのが現状である。したがって，より客観性を保つために，ルーブリックは信頼性の高い情報を基にして作成される必要がある。そこで，本研究では，項目反応理論(IRT)を用いて推定された尺度値θをもつそれぞれの受検者が，実際にどのようなパフォーマンスをするのかを探索的に検討する。ここでは，佐藤・柴山(2013)で提案されたルーブリック作成の手法を理科の電力に関するパフォーマンス課題に適用した具体例を示す。
方法
対象 宮城県内公立中学校第2学年1学級37名。
手続き 客観式調査(理科)，パフォーマンス課題の2つの問題冊子に解答してもらった。配布は当該学級の理科担当教員による。
課題構成 ○客観式調査(理科)…新潟県における平成18年度「全県学力調査」を使用し，未履修項目等を削除した(全15問)。○パフォーマンス課題…豆電球の明るさについて問う問題。4つの選択枝と選択理由を記述する欄からなる。この問題に正答するためには，電力とは電流と電圧の積であることを理解し，その計算過程において抵抗や回路に着目する必要がある。
各パラメタの推定 項目パラメタ(識別力，困難度)の推定には，新潟県における平成18年度「全県学力調査」のデータ(受検者：中学2年生21520名，2007年1月実施)を用いた。受検者パラメタ(尺度値θ)の推定は最尤法による。なお，これらのパラメタ推定にはEasyEstimation(熊谷，2009)を使用した。
結果と考察
欠席者3名を除外した34名が分析対象者となった。全問正答者は6名，この6名を除いたθの平均値は-0.02，標準偏差0.96，最小値-1.98，最大値1.76であった。θについて，-1.98～-0.50をL群（N=11），-0.43～0.74をM群(N=11)，0.98～1.76と全問正答者をH群(N=12)とレベル別に分類し，グループごとの選択枝の正答率を算出した。その結果，L群とH群の正答率がM群よりも高くなり，V字型の正答率曲線を描いた。さらに受検者の具体的なパフォーマンスを検討するために，選択枝を選ぶ際に着目した点を「電流」，「電圧」，「抵抗」，「回路」の4つに分類し，グループごとの傾向を分析した。その結果，「電流」，「抵抗」，「回路」に関しては，学力群のレベルが高くなるにしたがって着目する受検者が増加したが，「電圧」に関してはL群で1名，H群で2名が着目するにとどまった。このうち，「回路」と豆電球の関係については，どのグループにおいても，「直列―明るい」，「並列―暗い」という思い込みが多いことが明らかとなった。また，θの値が低くなるにしたがって「並列回路のほうが暗そう」といった推量の記述が多くみられるようになった。これらの結果から，学力群のレベルが高くなるにつれて，電力が最小(最大)になる要因を多方面から知識を用いて検討できるといえる。
【謝辞】本研究はJSPS科研費25380867の助成を受けたものです。