不同数量的多重t检验可能犯I型错误的概率

概率论中有两个基本原理:加法原理和乘法原理。两者的区别在于完成一件事可分几类办法和需要分几个步骤。如果有几类办法,这是几类办法之间或选的问题,符合加法原理。而需要几个步骤才能完成的事情,所有步骤之间都必须并存,缺一不可,这就是乘法原理适用的情形。

就加法原理适用的情形来说,若A、B是两个相互独立的事件,则A和B至少有一个发生(即或选类问题)的概率等于这两个事件各自的概率之和。

就乘法原理适用的情形来说,有A、B两个独立的事件,A事件出现的概率不影响B事件出现的概率。A和B两个事件同时发生的概率为A、B两个独立事件各自的概率的乘积。

把概率论的乘法原理用来分析实证研究中对教育统计分析方法的选择, 就会发现非常重要的一个现象。如果只有两个组,对两组采用一个t检验可以分析出组间的均值差异。如果我们把显著水平, alpha, 定为 .05, 那么, 意思是说, 如果我们判断两组均值差异显著时,我们的判断的正确的概率≥ .95。

可是, 当我们有3个以上的组的时候, 如果分别对任意两组进行t检验,那么,我们就需要进行次t检验(k为组数)。如果这是作为一个整体的研究, 那么, 每两两之间的均值对比的几个t检验之间是相互并存的, 缺一不可的。要想知道整个研究的各组之间的总的差异是否显著,做出总的差异显著的判断的正确性概率就应该采用概率论的乘法原理,即各两两t检验正确性概率的乘积。为此, 对于多组的情形来说, 如果做多个t检验, 最终做出关于各组之间总的差异显著的判断的正确率就会下降, 错误率就会上升。

这里的附件呈现的就是关于这个问题的比较详细的论证。阅读这样一个文件有利于深入了解这个问题的细节。

附件下载

参与评论