[準企チ] いかに研究結果を有意に見せるか？
正しい研究デザインと解析の裏側
Keywords:研究デザイン
企画趣旨
近年の教育心理学では本学会総会の発表内容や学会誌での論文を見ればわかるように，応用研究・実践研究が盛んにおこなわれている。人工知能が多くの労働を奪うのではないかと危惧の声が高まり教科内容・教授法・テストといった学校教育も大きく変化を迫られつつある。また子どもの貧困や格差の影響が議論されている。このような潮流の中で，実践的な知見を提供する教育心理学研究の重要性は本来増していくはずであった。
但し研究知見の実践的意義や教育政策への関連が高まれば高まるほど，研究者は他分野の研究者・様々な利害関係者などからの批判や反論に明確に答え，その研究知見に責任を持つことが要求される。
政府においては財政的な観点からの政策の効率性，および説明責任が求められる中で，証拠に基づく政策立案（EBPM）を重視している。文部科学省も他省庁から遅れながらもようやくEBPMの推進を行いつつある。しかし，現在の教育心理学および教育心理学会の研究知見がEBPMに貢献し学校教育政策や保育政策，さらなる公的教育投資の拡大などに影響を与えたという話は残念ながらあまり多くない。
その一方で，経済学者や社会医学研究者が日本でも自治体などと組んで大規模な実験，調査を行うようになってきており，その知見が徐々に蓄積し様々な政策意思決定に利用されつつある。
極言すれば，社会的には教育心理学“的”な実証知見が非常に求められているが，例えば社会医学や教育経済学分野の研究が教育心理学“的”な知見の社会的・政策的なニーズを代替しているのが実情のようであり，本学会にとっては誠に残念な現象が生じていると思われる。
さて，本チュートリアルセミナーのタイトルはもちろん内容に対して反語的なものである。
つまり，「とりあえず研究は行った」ものの傾向が明確でないようなデータしか得られなかった場合に，「どんな手段をとれば自分の仮説が成立するように見せることができるか」（データの一部利用や統計的に有意になりやすい解析結果を利用したらよいか）のハウツーを伝授する，というものではない。
むしろそのような恣意的な研究が広い意味での心理学分野に横行していたことが，近年大きな問題となっており，これこそが様々な分野の研究グループが領域横断的な研究を実施し互いのプレゼンスを主張する中で，教育心理学を含めた心理学が社会的・政策的なニーズに対して答えられない大きな理由の一つある，と言えるのではないだろうか？
我々がこのチュートリアルセミナーを準備委員会として企画した理由は，具体的な技法的な面と，より抽象的な危機感の共有の2点である
技法的側面としては「研究結果を都合よくみせる恣意的な方法」を見抜く目を査読者として，あるいは討論者としてフロアの方々に持っていただくためのいくつかの情報提供を行い，加えて再現性や一般化可能性，内生性，因果関係と相関関係の峻別などといった，社会科学研究において現在一般的となっているものの見方を共有する。
もう一点の危機感の共有については，前述したように，なぜ教育心理学“的”研究知見のニーズを現在の日本の教育心理学の研究者が十分に提供してこれなかったのか，そしてそれを提供するために何が必要なのか，さらに教育経済学などに不足している「個人や文脈の多様性」という観点から，いかにして教育心理学が今後知見を提供しえるかについて議論することである。
このような観点から，東京大学の岡田謙介先生には心理学分野における近年の再現性問題，「研究者の自由度」に関する様々な議論とそれに対する新しい動きについて講演いただく。また企画者である星野からは，いくつかの最近の研究の紹介を行いながら，一般化可能性，内生性，因果関係と相関関係の峻別といった話題の（特にEBPMなどの流れの中での）重要性について紹介する。
「心理学研究における社会的ジレンマと，その解決に向けた動きについて」
岡田謙介
心理学研究の方法論は，再現性をキーワードとした大きな転換点を迎えている（友永・三浦・針生, 2016）。この問題に対する関心が世界的に高まっている背景には，大規模な追試プロジェクトにおいて再現できた先行研究の結果が必ずしも多くなかったこと，国際的に著名な研究者による不正が相次いで明らかになったこと，一方で研究者を支援するための新しいツールやWebサービス等が続々と登場したことといった，心理学研究をめぐる近年の様々な変化が挙げられる。
こうした関心のもと，本発表ではまず，心理学研究者が，従来の研究慣習上許容されてきた「研究者の自由度」の操作によって，どのように真実ではないが「望ましい」結果をもたらすことが可能かについて，とくに心理統計学的な側面に重点をおいて紹介する。研究者の自由度とは，仮説構築，研究デザイン，データ収集，分析，結果の報告といった心理学研究のさまざまな側面で，研究者に任意に選択できる自由があることである。ある先行研究（Wicherts et al., 2016）では34種類の研究者の自由度をリスト化している。
一方で，典型的な心理統計学の方法は，研究者の自由度の存在を前提としないか，軽視した形で作られていることが多い。その結果，研究者は，本質的ではない操作によって，研究結果を「望ましい」方向へと導くことが可能になってしまう。具体的には，条件や変数のうち一部だけを選択的に報告したり，望ましい結果が出るまでデータを追加したり，行った分析のうち望ましい結果が出たものだけを報告したりといった操作である。こうした研究者の自由度の操作によって，真実とは異なる「有意な結果」や「大きな効果量」がもたらされてしまいうることを解説する。たとえば，発表者らの研究によれば，独立変数と従属変数の間の本質的な関係がまったく変わらなくても，研究者が心理学実験の水準数を操作するだけで，期待される効果量は何倍にも変化しうる。
そして，従来の研究慣習に基づく状況は，個々の研究者が研究成果の発表可能性を高めるべく合理的に行動することが，心理学研究全体にとって望ましくない結果をもたらすという，社会的ジレンマの状況にある（Everett & Earp, 2015）ことを論じる。
次に，こうした状況を受けて近年世界的に，多くの研究者が参加して進んでいる，オープンサイエンスや研究の再現性・再生性を高めるための動きについて，そして利用可能なツールと技術について紹介する。具体的には，Open Science Frameworkをはじめとした研究の事前登録やデータ，プログラム，研究素材等の共有のための仕組み，追試研究を評価するための各論文誌等の取り組み，そして R Markdownなどを用いた，分析の再生・再利用や報告，配布のための方法について紹介する。
もちろん，こうした新しい動きは，必ずしもすべての心理学研究に適用可能なものでも，すべきものでもない。とくに教育心理学研究では，たとえば公開に適さないデータを扱う場面も少なくないと考えられる。分野や個々の研究に特有のさまざまな事情にも注意しつつ，本セミナーが心理学研究の方法論について改めて再考し，議論するひとつの機会になればと考える。
「研究から因果関係を理解するための研究デザインと解析法を再考する」
星野崇宏
医学や経済学など，実際に得られた知見が政府の政策や医療行為などの実践に大きな影響を与えている研究分野においては，「研究知見のエビデンスの強さ」に関する膨大な議論があり，また研究者間での一定の認識の共有がなされている。
企画趣旨において触れたように，様々なステークスホールダーに対しても納得感を有する強いエビデンスを持った研究知見を提供することが教育心理学研究にも求められており，その際にはこういった議論が必要となる。
教育心理学研究においてもしばしば生じるような研究デザインを例に挙げ，再現性や一般化可能性，内生性，因果関係と相関関係の峻別などといった，社会科学研究で近年必須となっている考え方の枠組みについて説明する。さらに，日本においても行われ始めた自治体や公的機関によるいくつかの研究を紹介しながら，今後の教育心理学研究がこういったいかに貢献できるかについて議論したい。
引用文献
Everett, J. A. C. & Earp, B. D. (2015). A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers. Frontiers in Psychology, 6: 1152. doi:10.3389/fpsyg.2015.01152
Okada, K., and Hoshino, T. (2017). Researchers’ Choice of Number and Range of Levels in Experiments Affects the Resultant Variance-Accounted-For Effect Size
Psychonomic Bulletin & Review, 24(2) 607-616
友永雅己・三浦麻子・針生悦子 (2016). 心理学の再現可能性：我々はどこから来たのか 我々は何者か 我々はどこへ行くのか. 心理学評論, 59, 1-2.
Wicherts, J. M. et al. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking. Frontiers in Psychology, 7: 1832. doi:10.3389/fpsyg.2016.01832
近年の教育心理学では本学会総会の発表内容や学会誌での論文を見ればわかるように，応用研究・実践研究が盛んにおこなわれている。人工知能が多くの労働を奪うのではないかと危惧の声が高まり教科内容・教授法・テストといった学校教育も大きく変化を迫られつつある。また子どもの貧困や格差の影響が議論されている。このような潮流の中で，実践的な知見を提供する教育心理学研究の重要性は本来増していくはずであった。
但し研究知見の実践的意義や教育政策への関連が高まれば高まるほど，研究者は他分野の研究者・様々な利害関係者などからの批判や反論に明確に答え，その研究知見に責任を持つことが要求される。
政府においては財政的な観点からの政策の効率性，および説明責任が求められる中で，証拠に基づく政策立案（EBPM）を重視している。文部科学省も他省庁から遅れながらもようやくEBPMの推進を行いつつある。しかし，現在の教育心理学および教育心理学会の研究知見がEBPMに貢献し学校教育政策や保育政策，さらなる公的教育投資の拡大などに影響を与えたという話は残念ながらあまり多くない。
その一方で，経済学者や社会医学研究者が日本でも自治体などと組んで大規模な実験，調査を行うようになってきており，その知見が徐々に蓄積し様々な政策意思決定に利用されつつある。
極言すれば，社会的には教育心理学“的”な実証知見が非常に求められているが，例えば社会医学や教育経済学分野の研究が教育心理学“的”な知見の社会的・政策的なニーズを代替しているのが実情のようであり，本学会にとっては誠に残念な現象が生じていると思われる。
さて，本チュートリアルセミナーのタイトルはもちろん内容に対して反語的なものである。
つまり，「とりあえず研究は行った」ものの傾向が明確でないようなデータしか得られなかった場合に，「どんな手段をとれば自分の仮説が成立するように見せることができるか」（データの一部利用や統計的に有意になりやすい解析結果を利用したらよいか）のハウツーを伝授する，というものではない。
むしろそのような恣意的な研究が広い意味での心理学分野に横行していたことが，近年大きな問題となっており，これこそが様々な分野の研究グループが領域横断的な研究を実施し互いのプレゼンスを主張する中で，教育心理学を含めた心理学が社会的・政策的なニーズに対して答えられない大きな理由の一つある，と言えるのではないだろうか？
我々がこのチュートリアルセミナーを準備委員会として企画した理由は，具体的な技法的な面と，より抽象的な危機感の共有の2点である
技法的側面としては「研究結果を都合よくみせる恣意的な方法」を見抜く目を査読者として，あるいは討論者としてフロアの方々に持っていただくためのいくつかの情報提供を行い，加えて再現性や一般化可能性，内生性，因果関係と相関関係の峻別などといった，社会科学研究において現在一般的となっているものの見方を共有する。
もう一点の危機感の共有については，前述したように，なぜ教育心理学“的”研究知見のニーズを現在の日本の教育心理学の研究者が十分に提供してこれなかったのか，そしてそれを提供するために何が必要なのか，さらに教育経済学などに不足している「個人や文脈の多様性」という観点から，いかにして教育心理学が今後知見を提供しえるかについて議論することである。
このような観点から，東京大学の岡田謙介先生には心理学分野における近年の再現性問題，「研究者の自由度」に関する様々な議論とそれに対する新しい動きについて講演いただく。また企画者である星野からは，いくつかの最近の研究の紹介を行いながら，一般化可能性，内生性，因果関係と相関関係の峻別といった話題の（特にEBPMなどの流れの中での）重要性について紹介する。
「心理学研究における社会的ジレンマと，その解決に向けた動きについて」
岡田謙介
心理学研究の方法論は，再現性をキーワードとした大きな転換点を迎えている（友永・三浦・針生, 2016）。この問題に対する関心が世界的に高まっている背景には，大規模な追試プロジェクトにおいて再現できた先行研究の結果が必ずしも多くなかったこと，国際的に著名な研究者による不正が相次いで明らかになったこと，一方で研究者を支援するための新しいツールやWebサービス等が続々と登場したことといった，心理学研究をめぐる近年の様々な変化が挙げられる。
こうした関心のもと，本発表ではまず，心理学研究者が，従来の研究慣習上許容されてきた「研究者の自由度」の操作によって，どのように真実ではないが「望ましい」結果をもたらすことが可能かについて，とくに心理統計学的な側面に重点をおいて紹介する。研究者の自由度とは，仮説構築，研究デザイン，データ収集，分析，結果の報告といった心理学研究のさまざまな側面で，研究者に任意に選択できる自由があることである。ある先行研究（Wicherts et al., 2016）では34種類の研究者の自由度をリスト化している。
一方で，典型的な心理統計学の方法は，研究者の自由度の存在を前提としないか，軽視した形で作られていることが多い。その結果，研究者は，本質的ではない操作によって，研究結果を「望ましい」方向へと導くことが可能になってしまう。具体的には，条件や変数のうち一部だけを選択的に報告したり，望ましい結果が出るまでデータを追加したり，行った分析のうち望ましい結果が出たものだけを報告したりといった操作である。こうした研究者の自由度の操作によって，真実とは異なる「有意な結果」や「大きな効果量」がもたらされてしまいうることを解説する。たとえば，発表者らの研究によれば，独立変数と従属変数の間の本質的な関係がまったく変わらなくても，研究者が心理学実験の水準数を操作するだけで，期待される効果量は何倍にも変化しうる。
そして，従来の研究慣習に基づく状況は，個々の研究者が研究成果の発表可能性を高めるべく合理的に行動することが，心理学研究全体にとって望ましくない結果をもたらすという，社会的ジレンマの状況にある（Everett & Earp, 2015）ことを論じる。
次に，こうした状況を受けて近年世界的に，多くの研究者が参加して進んでいる，オープンサイエンスや研究の再現性・再生性を高めるための動きについて，そして利用可能なツールと技術について紹介する。具体的には，Open Science Frameworkをはじめとした研究の事前登録やデータ，プログラム，研究素材等の共有のための仕組み，追試研究を評価するための各論文誌等の取り組み，そして R Markdownなどを用いた，分析の再生・再利用や報告，配布のための方法について紹介する。
もちろん，こうした新しい動きは，必ずしもすべての心理学研究に適用可能なものでも，すべきものでもない。とくに教育心理学研究では，たとえば公開に適さないデータを扱う場面も少なくないと考えられる。分野や個々の研究に特有のさまざまな事情にも注意しつつ，本セミナーが心理学研究の方法論について改めて再考し，議論するひとつの機会になればと考える。
「研究から因果関係を理解するための研究デザインと解析法を再考する」
星野崇宏
医学や経済学など，実際に得られた知見が政府の政策や医療行為などの実践に大きな影響を与えている研究分野においては，「研究知見のエビデンスの強さ」に関する膨大な議論があり，また研究者間での一定の認識の共有がなされている。
企画趣旨において触れたように，様々なステークスホールダーに対しても納得感を有する強いエビデンスを持った研究知見を提供することが教育心理学研究にも求められており，その際にはこういった議論が必要となる。
教育心理学研究においてもしばしば生じるような研究デザインを例に挙げ，再現性や一般化可能性，内生性，因果関係と相関関係の峻別などといった，社会科学研究で近年必須となっている考え方の枠組みについて説明する。さらに，日本においても行われ始めた自治体や公的機関によるいくつかの研究を紹介しながら，今後の教育心理学研究がこういったいかに貢献できるかについて議論したい。
引用文献
Everett, J. A. C. & Earp, B. D. (2015). A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers. Frontiers in Psychology, 6: 1152. doi:10.3389/fpsyg.2015.01152
Okada, K., and Hoshino, T. (2017). Researchers’ Choice of Number and Range of Levels in Experiments Affects the Resultant Variance-Accounted-For Effect Size
Psychonomic Bulletin & Review, 24(2) 607-616
友永雅己・三浦麻子・針生悦子 (2016). 心理学の再現可能性：我々はどこから来たのか 我々は何者か 我々はどこへ行くのか. 心理学評論, 59, 1-2.
Wicherts, J. M. et al. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking. Frontiers in Psychology, 7: 1832. doi:10.3389/fpsyg.2016.01832