効果量や検定力分析については，1960年代からその重要性が指摘されており，論文作成の国際的な基準となっているAPA論文作成マニュアルにおいても，効果量の報告，検定力分析の必要性が述べられている。しかし，実際はわが国の学術雑誌で効果量の記述や検定力の検討が十分なされている論文は非常に少ない。本研究では，これまでに学術論文において利用され，結果の根拠として示されている統計的仮説検定における効果量および検定力の分析を行い，その研究が正しく分析されていたかを検討した。

　第1章では，統計的仮説検定の発展と問題に関する研究史を概観し，近年の統計改革と呼ばれる統計的仮説検定が抱える問題の改善を目指す運動である効果量，検定力に関する動きを整理した。また，検定力分析の方法を有意水準，検定力，効果量，標本数の関係から概説し，具体的な手法としてt検定と分散分析に関する統計的仮説検定の手順，標本効果量の算出方法，検定力分析の方法に関して説明した。

　第2章（研究I）では，“認知科学”誌における過去3年分のt検定と分散分析の効果量および分散分析の結果に関して，標本効果量と標本検定力を算出し，それぞれの結果の事例を検討した。その結果，分析結果の記述に関しては，一般的に統計的仮説検定の結果のみを記載し標本効果量は記載されておらず，実際に論文に掲載されている分析でも，自由度の計算が合わないものや，分析の計算に必要な情報が不明瞭なもの（分析に除外した標本の数が明記されていないなど）もいくつかみられた。また，“認知科学”では実験法を用いた研究が多く，集められる標本数が調査法に比べて少ないため，このような状況では効果量が大きくとも有意な結果が得られておらず，たとえ有意であっても同様の分析を再び行った場合に有意でない結果が得られる可能性が示唆された。反対に，標本数の多い分析では効果量が小さく，実質的には意味のない効果であっても有意であると判断されやすく，標本効果量と標本検定力を算出する必要性が示された。

　第3章（研究II）では，“心理学研究”に掲載された過去2年分の論文におけるt検定と分散分析の標本効果量と標本検定力の分析を行った。その結果，知覚，生理，思考，学習の分野では，実験が用いられることが多く標本効果量が高いが，そのため，標本数が少なくても有意な結果が得られることが多く標本検定力も低くなってしまうことがわかった。反対に，発達，教育，臨床等の分野では，調査法を用いて多くの標本数を得られることが多いため，標本効果量が低くとも有意な結果が得られ，また標本検定力も高いということがわかった。帰無仮説を研究仮説とする分析では，効果量が十分に低いことが求められるが，このような場合も標本効果量を記載しておらず，分析者にとって都合のよい立場で結果を解釈し，効果量が十分に低いことを示していないものも見られた。

　研究Iおよび研究IIでは，t検定および分散分析を中心に，分析結果の解釈と，標本効果量，標本検定力について検討を行ってきたが，帰無仮説が研究仮説になる検定として，共分散構造分析における適合度の検定が挙げられる。共分散構造分析は，近年，心理学の研究で利用されることが増えてきているが，適合度の検定については帰無仮説を研究仮説にしているため，これまでの検定とは反対に，有意な結果が得られている場合でも，十分な適合が認められる場合が考えられる。そのため，第4章（研究�V）では，“教育心理学研究”における共分散構造分析についてRMSEAを利用した検定力分析を行った。その結果，慣習的にモデルが適合していると判断されるRMSEAの基準値は0.05であるにも関わらず，0.05を下回るモデルは全体の半分程度しかないことが示された。非心分布を用いたMacCallum et al.(1996)の方法を用いて，RMSEAの信頼区間を算出し，個々の検定結果を考察した結果，検定力および信頼区間の計算には，特に自由度の大きさが影響していることがわかり，カイ二乗検定による検定は標本数が多くなると帰無仮説は棄却されやすいことを理由に，検定結果を無視する傾向があることが示唆された。また，個々の検定力分析の事例をみていくことで，通常のカイ二乗検定やRMSEAの点推定値からのみでは得られない知見を得ることができた。

　第5章では，第2章から第4章で示された研究の結果を踏まえた総合考察として，これまでの統計的仮説検定における検定結果の検討や記載に関する問題点，統計的仮説検定を行う際の検定力分析の必要性，および今後の展望について検討した。本研究では，これまでの検定力分析に関する遡及的研究で行われてきたような，あらかじめ設定した効果量を用いた検定力の算出とその集計のみを行うのではなく，実際に得られた標本効果量から標本検定力を算出した。そのため，事後の分析として検定力分析を行うことによって，検定結果に対する効果量，標本数，検定力の関係を吟味することができ，これまでの研究からは得られてない知見を得ることができたといえる。また，個々の事例に注目して考察を行ったという点において，効果量および検定力に関する適切な解釈の例を示すことができたといえるだろう。このような研究は，今後より適切な統計的仮説検定の利用を促すと考えられる。