[PF075] 社会科テストの設問文が回答に及ぼす影響
出題者の測定意図を考慮した問い方の設定
Keywords:設問の問い方, 社会科テスト, 項目分析
目的
テストは同じ内容のものであっても，その設定の仕方が異なれば，多少なりとも受検者の回答に影響を及ぼすことが予想される。しかし，わが国のテストは，教科の専門家の経験（知識）やテスト作成の慣習のみに頼って作成されたものが多く，設問設定の違いが回答に及ぼす影響について実証的に検討された知見が少ない。
したがって，本研究では社会科テストを用いて，設問の問い方が受検者の回答に及ぼす影響について実証的に検討することを目的とする。
方法
参加者及び実施時期 2014年７月に京都府と愛知県の中学３年生408名に実施した。
社会科テスト 高校入試問題と県で実施された学力調査問題を基に作成された社会科テスト（歴史８問，地理６問，合計14問）を実施した。本研究では，水産業で働く人の年齢・性別ごとの人数の割合の変化を示すグラフを見て，日本の水産業の問題について答える設問Ⅰ（地理の問題）を検討する。回答時間は30分であった。
設問設定 設問Ⅰの評価基準では，水産業が現在かかえる問題点（例：高齢化の進行）に加え，将来についての問題点（例：水産業の衰退）を指摘することが求められている。過去のテスト結果から，将来に関する回答が少ないことがわかっているため，「将来直面する問題」を強調した設問と強調しない設問を設定した。すなわち，グラフを見て，Ａ：日本の水産業がかかえる問題について問う設問（オリジナル），Ｂ：日本の水産業が将来直面するであろう問題について問う設問を設定した。
解答類型 設問Ⅰでは，①高齢化が進んでいること，②将来の問題点を指摘すること，という２つの内容の回答が求められる。県によって作成・公表された評価基準に基づいて，類型１：①と②を記述した回答（１点），類型２：①のみを記述した回答（１点），類型９：「その他の回答」（０点），類型０：「無回答」（０点）を設定した。また，本研究では「将来」を強調した設問を設定したため，類型３：②のみを記述した回答（０点）も設定した。
分析 解答類型に従って採点した後に，項目分析を用いて得点率，識別力及び解答類型分類率を算出した。
結果と考察
設問Ⅰにおける項目分析の結果をTable 1に示す。まず，得点率と識別力について検討する。「将来直面する問題」を強調しない条件（Ａ）の方が強調する条件（Ｂ）より高い得点率となった。しかし，この違いは類型に対する配点によるものと考えられ，類型１，類型２と同様に類型３にも１点を配点した場合には得点率に差は見られなかった（Ａ：.851，Ｂ：.825）。また，識別力に関しては，条件間の差はほとんど見られず両条件とも低い値であった。次に，受検者の回答内容を検討する。Ａ条件よりＢ条件の方が，類型１と類型３に分類される回答が多く観測された。一方，Ａ条件の方が類型２に分類される回答が多かった。
以上より，測定意図として，受検者に「将来に関して」回答させたい場合は，設問文中に「将来に関する」文言を入れることが有効であるとわかった。ただし，この場合でも「将来に関すること」のみを回答する受検者が一部見受けられた。したがって，回答としてグラフから読み取れる内容と推測する内容の両方を求める場合には，水産業の問題点について，1)グラフから「読み取れる現在の問題点」と 2)グラフから「予想される将来の問題点」の両方を問う設問設定をする必要があると考えられる。
テストは同じ内容のものであっても，その設定の仕方が異なれば，多少なりとも受検者の回答に影響を及ぼすことが予想される。しかし，わが国のテストは，教科の専門家の経験（知識）やテスト作成の慣習のみに頼って作成されたものが多く，設問設定の違いが回答に及ぼす影響について実証的に検討された知見が少ない。
したがって，本研究では社会科テストを用いて，設問の問い方が受検者の回答に及ぼす影響について実証的に検討することを目的とする。
方法
参加者及び実施時期 2014年７月に京都府と愛知県の中学３年生408名に実施した。
社会科テスト 高校入試問題と県で実施された学力調査問題を基に作成された社会科テスト（歴史８問，地理６問，合計14問）を実施した。本研究では，水産業で働く人の年齢・性別ごとの人数の割合の変化を示すグラフを見て，日本の水産業の問題について答える設問Ⅰ（地理の問題）を検討する。回答時間は30分であった。
設問設定 設問Ⅰの評価基準では，水産業が現在かかえる問題点（例：高齢化の進行）に加え，将来についての問題点（例：水産業の衰退）を指摘することが求められている。過去のテスト結果から，将来に関する回答が少ないことがわかっているため，「将来直面する問題」を強調した設問と強調しない設問を設定した。すなわち，グラフを見て，Ａ：日本の水産業がかかえる問題について問う設問（オリジナル），Ｂ：日本の水産業が将来直面するであろう問題について問う設問を設定した。
解答類型 設問Ⅰでは，①高齢化が進んでいること，②将来の問題点を指摘すること，という２つの内容の回答が求められる。県によって作成・公表された評価基準に基づいて，類型１：①と②を記述した回答（１点），類型２：①のみを記述した回答（１点），類型９：「その他の回答」（０点），類型０：「無回答」（０点）を設定した。また，本研究では「将来」を強調した設問を設定したため，類型３：②のみを記述した回答（０点）も設定した。
分析 解答類型に従って採点した後に，項目分析を用いて得点率，識別力及び解答類型分類率を算出した。
結果と考察
設問Ⅰにおける項目分析の結果をTable 1に示す。まず，得点率と識別力について検討する。「将来直面する問題」を強調しない条件（Ａ）の方が強調する条件（Ｂ）より高い得点率となった。しかし，この違いは類型に対する配点によるものと考えられ，類型１，類型２と同様に類型３にも１点を配点した場合には得点率に差は見られなかった（Ａ：.851，Ｂ：.825）。また，識別力に関しては，条件間の差はほとんど見られず両条件とも低い値であった。次に，受検者の回答内容を検討する。Ａ条件よりＢ条件の方が，類型１と類型３に分類される回答が多く観測された。一方，Ａ条件の方が類型２に分類される回答が多かった。
以上より，測定意図として，受検者に「将来に関して」回答させたい場合は，設問文中に「将来に関する」文言を入れることが有効であるとわかった。ただし，この場合でも「将来に関すること」のみを回答する受検者が一部見受けられた。したがって，回答としてグラフから読み取れる内容と推測する内容の両方を求める場合には，水産業の問題点について，1)グラフから「読み取れる現在の問題点」と 2)グラフから「予想される将来の問題点」の両方を問う設問設定をする必要があると考えられる。