[PE85] 実験条件を増やすと効果量は小さくなる
「効果量ハッキング」の危険性とその対処法について
キーワード：効果量, 研究デザイン, 水準数
はじめに
心的回転（mental rotation）の実験を考える。目的は，図形の回転（要因＝独立変数）が，反応時間（従属変数）に及ぼす影響を調べることである。近年の心理学研究の動向を踏まえ，結果を効果量η^2で評価することとする。実験用プログラムでは，0度と60度が，図形を回転する角度の既定値（水準の範囲）として設定されている。簡単のため，回転角度と反応時間の関係は線形であるとし，水準数を増やす場合には範囲内で水準の等間隔性を保つこととする。ここで以下の問を考える。
問１ 期待される効果量η^2を大きくするためには，実験の水準数を増やすべきか？
問２ 水準の範囲も操作できる（つまり，上限を60度から変更できる）場合，同じ目的では，水準の範囲と水準数は各々増やすべきか？
目 的
近年の心理学研究では，再現性への関心などから仮説検定やp値への過度な依存が問題視されている。そして，効果量を活用することの重要性が多くの研究で指摘されている。しかし，Cohenのdのような平均値差の効果量と比べ，η^2のような分散説明率の効果量は，その数理的な性質が十分明らかになっていない。そのためもあって，分散説明率の効果量は単に値が記述されるにとどまることが多く，研究で活用されているとは言い難い。
本研究ではこうした問題意識のもと，研究者が水準数や水準の範囲を操作することが，η^2にどのような影響を及ぼすのかを数理的に検討する。
結 果
効果量η^2は，水準数kと標準化した水準の範囲dの関数として，次のように表現できる（証明はOkada & Hoshino, 2016を参照）：
η^2=(d^2 (k+1))/(12(k-1)+d^2 (k+1)). (1)
これをプロットするとFigure 1のようになり，水準数kに対して単調減少，標準化した水準の範囲dに対して単調増加の関係がある。この単調減少性・増加性はいずれも数理的に証明できる。
以上は母集団についての（期待値の）結果であるが，標本のバイアスを補正した効果量ω ̂^2やε ̂^2についても同様の関係が見られることが，数値シミュレーション研究により確認された。
考 察
以上より，冒頭の問への解答としては，水準数は小さいほど，また水準の範囲は大きいほど，期待される効果量η^2がより大きくなることがわかる。
多くの心理学研究では，水準をどう選択するかは研究者に委ねられている。本研究は，独立・従属変数間の「真の関係」が不変であっても，水準の選択により，研究者が期待される効果量η^2を大幅に操作できることを示した。つまりη^2の大きさの解釈は，研究デザインと密接に関係しているのである。これを考慮せずに効果量をp値に代わる指標として重用すると，p-hackingと同様に「効果量ハッキング」が可能になったり，メタ分析で誤った結論が導かれうるため，注意が必要である。
引用文献
Okada, K. & Hoshino, T. (2016). Researchers’ choice of the number and range of levels in experiments affects the resultant variance- accounted-for effect size.
Psychonomic Bulletin & Review, in press.
心的回転（mental rotation）の実験を考える。目的は，図形の回転（要因＝独立変数）が，反応時間（従属変数）に及ぼす影響を調べることである。近年の心理学研究の動向を踏まえ，結果を効果量η^2で評価することとする。実験用プログラムでは，0度と60度が，図形を回転する角度の既定値（水準の範囲）として設定されている。簡単のため，回転角度と反応時間の関係は線形であるとし，水準数を増やす場合には範囲内で水準の等間隔性を保つこととする。ここで以下の問を考える。
問１ 期待される効果量η^2を大きくするためには，実験の水準数を増やすべきか？
問２ 水準の範囲も操作できる（つまり，上限を60度から変更できる）場合，同じ目的では，水準の範囲と水準数は各々増やすべきか？
目 的
近年の心理学研究では，再現性への関心などから仮説検定やp値への過度な依存が問題視されている。そして，効果量を活用することの重要性が多くの研究で指摘されている。しかし，Cohenのdのような平均値差の効果量と比べ，η^2のような分散説明率の効果量は，その数理的な性質が十分明らかになっていない。そのためもあって，分散説明率の効果量は単に値が記述されるにとどまることが多く，研究で活用されているとは言い難い。
本研究ではこうした問題意識のもと，研究者が水準数や水準の範囲を操作することが，η^2にどのような影響を及ぼすのかを数理的に検討する。
結 果
効果量η^2は，水準数kと標準化した水準の範囲dの関数として，次のように表現できる（証明はOkada & Hoshino, 2016を参照）：
η^2=(d^2 (k+1))/(12(k-1)+d^2 (k+1)). (1)
これをプロットするとFigure 1のようになり，水準数kに対して単調減少，標準化した水準の範囲dに対して単調増加の関係がある。この単調減少性・増加性はいずれも数理的に証明できる。
以上は母集団についての（期待値の）結果であるが，標本のバイアスを補正した効果量ω ̂^2やε ̂^2についても同様の関係が見られることが，数値シミュレーション研究により確認された。
考 察
以上より，冒頭の問への解答としては，水準数は小さいほど，また水準の範囲は大きいほど，期待される効果量η^2がより大きくなることがわかる。
多くの心理学研究では，水準をどう選択するかは研究者に委ねられている。本研究は，独立・従属変数間の「真の関係」が不変であっても，水準の選択により，研究者が期待される効果量η^2を大幅に操作できることを示した。つまりη^2の大きさの解釈は，研究デザインと密接に関係しているのである。これを考慮せずに効果量をp値に代わる指標として重用すると，p-hackingと同様に「効果量ハッキング」が可能になったり，メタ分析で誤った結論が導かれうるため，注意が必要である。
引用文献
Okada, K. & Hoshino, T. (2016). Researchers’ choice of the number and range of levels in experiments affects the resultant variance- accounted-for effect size.
Psychonomic Bulletin & Review, in press.