検定力分析は使用される統計的検定と同様の前提条件を必要とするが, 教育心理学の研究ではしばしば前提条件が満たされないため, その頑健性に関する研究が数多くなされている。しかし, 従来の研究方法である人工データを用いたコンピュータ・シミュレーションでは現実との対応が不明であるため, これらの研究結果が現実の研究場面において利用ができないという問題があった。そこでまず, 本研究では「観測値の独立性」からの逸脱に対するt検定の危険率および検定力の頑健性について, 実際のデータを母集団とみなしたシミュレーションを行い人工データとの対応を検討した。その結果, 実際のデータによるシミュレーションの結果は, 人工データによるシミュレーションで予測できることが確認された。次に, 項目の尺度化の影響についても検討した。その結果, 尺度に含められる項目数の増加は級内相関係数と母集団効果量に影響し, 危険率に対しては頑健性を低める方向にはたらき, 検定力に対しては本研究で検討した範囲において頑健性を高める方向に作用した。