显着性验证方法和技巧

‘壹’ 显着性检验的方法包括哪三种

显着性检验的方法通常有三种：方差分析 (ANOVA)，T检验（T-test），卡方分析 (Chi-Square Analysis)。

1. 方差分析(ANOVA)

   用于正态分布、方差齐性的多组间计量比较。常见的有单因素分组的多样本均数比较及双因素分组的多个样本均数的比较，方差分析首先是比较各组间总的差异，如总差异有显着性，再进行组间的两两比较，组间比较用q检验或LST检验等。

2. T检验（T-test）

   适用于计量资料、正态分布、方差具有齐性的两组间小样本比较。包括配对资料间、样本与均数间、两样本均数间比较三种，三者的计算公式不能混淆 [1] 。（处理时不用判断分布类型就可以使用t检验）。
   

3. 卡方分析（Chi-Square Analysis)

   是计数资料主要的显着性检验方法。用于两个或多个百分比(率)的比较。常见以下几种情况：四格表资料、配对资料、多于2行乘以2列资料及组内分组X2检验。

‘贰’ 变量的显着性检验主要使用什么方法

显着性检验就是事先对总体（随机变量）的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（原假设）是否合理，即判断总体的真实情况与原假设是否显着地有差异。或者说，显着性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。

显着性检验是针对我们对总体所做的假设做检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设。

抽样实验会产生抽样误差，对实验资料进行比较分析时，不能仅凭两个结果（平均数或率）的不同就作出结论，而是要进行统计学分析，鉴别出两者差异是抽样误差引起的，还是由特定的实验处理引起的。
显着性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异，以及这种差异是否显着的方法。

常把一个要检验的假设记作H0,称为原假设（或零假设） (null hypothesis) ，与H0对立的假设记作H1，称为备择假设(alternative hypothesis) 。

⑴ 在原假设为真时，决定放弃原假设，称为第一类错误，其出现的概率通常记作α；

⑵ 在原假设不真时，决定接受原假设，称为第二类错误，其出现的概率通常记作β。

通常只限定犯第一类错误的最大概率α， 不考虑犯第二类错误的概率β。这样的假设 检验又称为显着性检验，概率α称为显着性水平。

最常用的α值为0.01、0.05、0.10等。一般情况下，根据研究的问题，如果放弃真错误损失大，为减少这类错误，α取值小些 ，反之，α取值大些。

‘叁’ 如何运用excel进行显着性检验

excel进行显着性检验的方法与步骤：
1.先找add-in,添加数据分析工具data
analysis
tool。
add-in的选项在file->
option->add
ins,
选择analysis
tool
pack。
2.会跳出来一个窗口，再选中analysis
tookpack
,确定就好了。
3.把得到的两组数据输入excel里。
4.在data里面，选择data
analysis,跳出来新窗口，选中correlation（相关性）。然后按照提示，选中要分析的数据。
5.excel会自动运行回归分析，给出分析报告。分析报告里mutiple
r
接近1，就说明两个的相关性比较大。拟合关系要看r2，显着性看signifnance
f。

‘肆’ ABtest显着性校验（配对T检验）

相关样本t检验（重复测量）：
目标：
配对样本用以检验两个总体的均值是否存在显着差异。

特点：
配对样本具有两个特征：第一，两组样本的样本数相同；第二，两组样本观察值的先后顺序是一一对应的，不能随意更改。
配对样本t检验可视为单样本t检验的扩展，不过检验的对象由一群来自常态分配独立样本更改为二群配对样本之观测值之差。

计算方式：
若二配对样本x1i与x2i之差为di=x1i−x2i独立，且来自常态分配，则di之母体期望值μ是否为μ0可利用以下统计量：（u=u0，则原假设为，两个实验组的均值没有差异）

判断的过程为：
1、确定显着性水平，一般选取alpha=0.05。（5%几率出现，即按此做临界有5%几率作出错误假设）
2、计算t值
3、判断：按照alpha=0.05，df（自由度）=样本个数n-1。查t值临界表，获得临界值X。如果t值<临界值X则接受原假设，即实验没有显着性差异（u=u0）。如果t值>临界值X则拒绝原假设，即实验有明显差异（u!=u0)，实验有显着正向或者负向效果。

理解：
从直觉上理解一下。检验的方式无碍乎就是，自变量产生的差异/ 随机因素产生的差异，以此来检验，自变量的差异是否足够大，大到我们可以说这肯定不是随机因素带来的差异，即自变量对因变量有显着影响。在配对t检验中，自变量的差异就是差值的均值，随机因素的差异就是差值本身的标准差（自由度n-1）。

其中：

u0为天然差异。通过空跑实验组确定。

PS：
显着性检验分为参数检验和非参数检验。
参数检验要求样本来源于正太总体（正太性假定，方差齐性假定）
参数检验常见的例如方差检验。

详细参考：
https://www.cnblogs.com/h-zsk/p/6293721.html

‘伍’ 显着性检验的常用检验

用于计数资料。是当实验组或对照组中出现概率为0或100%时，X2检验的一种特殊形式。属于直接概率计算法。
非参数统计方法
符号检验、秩和检验和Ridit检验
三者均属非参数统计方法，共同特点是简便、快捷、实用。可用于各种非正态分布的资料、未知分布资料及半定量资料的分析。其主要缺点是容易丢失数据中包含的信息。所以凡是正态分布或可通过数据转换成正态分布者尽量不用这些方法。
Hotelling检验
用于计量资料、正态分布、两组间多项指标的综合差异显着性检验。

‘陆’ 如何进行显着性分析

利用SPSS进行统计检验

在教育技术研究中，经常需要利用不同的教学媒体或教学资源对不同的对象进行教学改革试验，但教学试验的总体往往都有较大数量，限于人力、物力与时间，通常都采用抽取一定的样本作为研究对象，这样，就存在样本的特征数量能否反映总体特征的问题，也存在着两种不同的样本的数量标志的参数是否存在差异的问题，这就必需对样本量数进行定量分析与推断，在教育统计学中称为“统计检验”。

一、统计检验的基本原理

统计检验是先对总体的分布规律作出某种假说，然后根据样本提供的数据，通过统计运算，根据运算结果，对假说作出肯定或否定的决策。如果现要检验实验组和对照组的平均数（μ1和μ2）有没有差异，其步骤为：
1．建立虚无假设，即先认为两者没有差异，用表示；
2．通过统计运算，确定假设成立的概率P。
⒊ 根据P 的大小，判断假设是否成立。如表6-12所示。

二、大样本平均数差异的显着性检验——Z检验

Z检验法适用于大样本（样本容量小于30）的两平均数之间差异显着性检验的方法。它是通过计算两个平均数之间差的Z分数来与规定的理论Z值相比较，看是否大于规定的理论Z值，从而判定两平均数的差异是否显着的一种差异显着性检验方法。其一般步骤：

第一步，建立虚无假设，即先假定两个平均数之间没有显着差异。
第二步，计算统计量Z值，对于不同类型的问题选用不同的统计量计算方法。

（1）如果检验一个样本平均数（）与一个已知的总体平均数()的差异是否显着。其Z值计算公式为：

其中是检验样本的平均数；
是已知总体的平均数；
S是样本的方差；
n是样本容量。
（2）如果检验来自两个的两组样本平均数的差异性，从而判断它们各自代表的总体的差异是否显着。其Z值计算公式为：

其中，1、2是样本1，样本2的平均数；
是样本1，样本2的标准差；
是样本1，样本2的容量。
第三步，比较计算所得Z值与理论Z值，推断发生的概率，依据Z值与差异显着性关系表作出判断。如表6-13所示。

第四步，根据是以上分析，结合具体情况，作出结论。

【例6-5】某项教育技术实验，对实验组和控制组的前测和后测的数据分别如表6-14所示，比较两组前测和后测是否存在差异。

由于n＞30，属于大样本，应采用Z检验。由于这是检验来自两个不同总体的两个样本平均数，看它们各自代表的总体的差异是否显着，所以采用双总体的Z检验方法。
计算前测Z的值

= -0.658

∵=0.658＜1.96
∴ 前测两组差异不显着。
再计算后测Z的值

= 2.16

∵ = 2.16＞1.96
∴ 后测两组差异显着。

三、小样本平均差异的显着性检验——t检验
t检验是用于小样本（样本容量小于30）时，两个平均值差异程度的检验方法。它是用t分布理论来推断差异发生的概率，从而判定两个平均数的差异是否显着。其一般步骤如下：
第一步，建立虚无假设，即先假定两个总体平均数之间没有显着差异。
第二步，计算统计量t值，对于不同类型的问题选用不同的统计量计算方法。
（1）如果要评断一个总体中的小样本平均数与总体平均值之间的差异程度，其统计量t值的计算公式为：

（2）如果要评断两组样本平均数之间的差异程度，其统计量t值的计算公式为：

第三步，根据自由度df= n-1，查t值表，找出规定的t理论值（见附录）并进行比较。理论值差异的显着水平为0.01级或0.05级。不同自由度的显着水平理论值记为t (df)0.01和t (df)0.05
第四步，比较计算得到的t值和理论t值，推断发生的概率，依据表6-15给出的t值与差异显着性关系表作出判断。

第五步，根据是以上分析，结合具体情况，作出结论

‘柒’ 有实验组控制组的测试结果，欲检验其是否存在显着差异，应选用哪些可用的方法

当试验数据出现两种或者多种不同的结果时，应该采用统计学的方法，通过显着性检验来判断试验数据之间是否存在显着性差异。
显着性检验的方法通常有t检验法和F检验法：
t检验用来检测两组数据的准确度，确定是否存在系统误差
F检验又叫方差齐性检验，用来检测两组或多组数据的精密度，确定是否存在偶然误差
计算公式和查表之类的就不写了，太复杂，而且你手上应该都有
针对你的数据，如果只是“需要看一下两组差别是不是很大”，只用F检验即可
如果你需要确定数据是否存在系统误差，或是否与假设结论是否相符时，则需要用到t检验
提醒一句，若要进行t检验，首先得进行F检验，用以判断两组数据的方差齐性
若两组数据方差相等，则用t检验；若方差不等，则用变种的t'检验
总之，不论怎样，都要用到F检验

‘捌’ 如何检验两组数据是否具有显着性差异

1， 首先，分别把这两组数据分别设为x和y，打开SPSS，点击左下角的Variable View选项卡，在Name列那里的第一行输y，第二行输x，返回Data View选项卡，输入对应的数据。

3， 举个例子，如果你预先设定的a=0.05，求得的sig=0.000，则0.000<0.05，故应拒绝原假设（原假设一般为设它们之间无差异），认为这两组数有显着性差异。

(8)显着性验证方法和技巧扩展阅读：

1， 当数据之间具有了显着性差异，就说明参与比对的数据不是来自于同一总体（Population），而是来自于具有差异的两个不同总体，这种差异可能因参与比对的数据是来自不同实验对象的，比如一些一般能力测验中，大学学历被试组的成绩与小学学历被试组会有显着性差异。也可能来自于实验处理对实验对象造成了根本性状改变，因而前测后测的数据会有显着性差异。

2， 比较方法：如果数据是连续性数据，且两组数据分别服从正态分布&方差齐（方差齐性检验），则可以采用t检验，如果不服从以上条件可以采用秩和检验。

3， 想知道两组数据是否有明显差异？不知道这个明显差异是什么意思？是问差别有无统计学意义（即差别的概率有多大）还是两总体均数差值在哪个范围波动？如果是前者则可以用第2步可以得到P值，如果是后者，则是用均数差值的置信区间来完成的。当然两者的结果在SPSS中均可以得到。

4， 在统计学中，差异显着性检验是“统计假设检验”（Statistical hypothesis testing）的一种，用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显着的办法[1]。

5， 在实验进行过程中，尽管尽量排除随机误差的影响，以突出实验的处理效果，但由于个体间无法避免的差异，以及诸多无法控制的因素，使得实验结果最后表现的观察值处理处理效应之外，还包括实验误差的效应。因此对两个样本进行比较时，必须判断样本间差异主要是随机误差造成的，还是本质不同或处理效应引起的。

‘玖’ 平均数显着性检验方法选择

均数显着性检验分为（样本与总体的显着性检验）和（样本与样本的显着性检验）

一、样本与总体的显着性检验

 1、总体呈正态分布，标准差已知时，无论样本大小，都用z检验；

 2、总体呈正态分布，标准差未知时，一般用t检验。但是大样本时，可用z检验；

 3、总体呈非正态时，样本是小样本，就不能用参数检验，只能用非参数检验；样本是大样本时，用z检验。

二、样本与样本的显着性检验

1、两个样本总体都呈正态分布，且标准差已知时，不管是相关样本还是独立样本都要用z检验；

2、两个样本总体都呈正态分布，但标准差未知时；

A  独立样本，无论两样本方差是否齐性，都用t检验

B 相关样本有两种情况：r已知和r未知，虽然都是用t检验，但是标准误的算法不一样

3、两个样本总体不呈正态分布时，但两样本是大样本时，都用z检验，但是标准误的算法不一样；

4、两个样本总体不呈正态分布时，小样本，要用非参数检验。

‘拾’ 显着性检验-显着性检验

什么是统计上的显着性

显着性，又称统计显着性（Statistical significance）， 是指零假设为真的情况下拒绝零假设所要承担的风险水平，又叫概率水平，或者显着水平。 显着性的含义是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响。我们假定控制了可能影响两个群体之间差异的所有其他因素，因此，余下的解释就是我们所推断的因素，而这个因素不能够100%保证，所以有一定的概率值，叫显着性水平（Significant level） (10)显着性验证方法和技巧扩展阅读 统计学的部分检验方法 1、单因素方差分析 用于完全随机设计的多个样本均值间的比较，其统计推断是推断(H0)各样本所代表的各总体均数是否相等。方差分析方法适用于两组均数的比较。方差分析是从观测变量的方差入手，研究诸多控制变量中哪些变量是对观测变量有显着影响的变量。 2、曼惠特尼检验 曼-惠特尼秩和检验：假设两个样本分别来自除了总体均值以外完全相同的两个总体，目的是检验这两个总体的均值是否有显着的差别。（分布存在差异） 3、多样本非参数检验 Kruskal-Wallis检验实质是两独立样本的曼-惠特尼U检验在多个样本下的推广。（秩和检验）.Jonckheere-Terpstra检验有点像KW检验后进一步检验位置是否存在递增递减关系。适合不同单位时间的行为序列mmse的比较 检验统计量的构造与曼惠特尼相似，如果一个样本的观测值小于另一个样本的个数较多或较少，那么，多样本的位置之间有大小关系。（J反映了单调的趋势，J越大单调趋势越显着） 参考资料来源：网络-显着性

什么是双尾显着性检验

通常，双尾测试用于实验研究，没有强烈的方向期望，或者有两个竞争预测。 例如，当一个理论预测分数增加而另一个理论预测分数减少时，应该使用双尾检验。 应该使用单尾测试的情况包括在进行实验之前进行方向预测，或者强烈要求进行方向预测时。 (10)显着性验证方法和技巧扩展阅读： 显着性检验的基本思想可以用小概率原理来解释。 1、小概率原理：小概率事件在一次试验中是几乎不可能发生的，假若在一次试验中小概率事件事实上发生了。那只能认为该事件不是来自我们假设的总体，也就是认为我们对总体所做的假设不正确。 2、观察到的显着水平：由样本资料计算出来的检验统计量观察值所截取的尾部面积。这个概率越小，反对原假设，认为观察到的差异表明真实的差异存在的证据便越强，观察到的差异便越加理由充分地表明真实差异存在。 3、检验所用的显着水平：针对具体问题的具体特点，事先规定这个检验标准。 4、在检验的操作中，把观察到的显着性水平与作为检验标准的显着水平标准比较，小于这个标准时，得到了拒绝原假设的证据，认为样本数据表明了真实差异存在。大于这个标准时，拒绝原假设的证据不足，认为样本数据不足以表明真实差异存在。 5、检验的操作可以用稍许简便一点的作法：根据所提出的显着水平查表得到相应的值，称作临界值，直接用检验统计量的观察值与临界值作比较，观察值落在临界值所划定的尾部内，便拒绝原假设；观察值落在临界值所划定的尾部之外，则认为拒绝原假设的证据不足。 参考资料来源：网络 - 显着性检验

什么叫显着性检验?

显着性检验的原理就是“小概率事件实际不可能性原理”来接受或否定假设。其基本步骤如下：
第一：提出统计假设H0和HA。
第二：构造统计量t，并根据样本资料计算t值。
第三：根据t分布的自由度，确定理论临界值t0.05和t0.01。

P值和显着性有什么区别?

显着性水平与P 值的区别： 1、表示含义不同： （1）显着性水平是假设检验中的一个概念，是指当原假设为正确时人们却把它拒绝了的概率或风险。 （2）P值即概率，反映某一事件发生的可能性大小。实际上，P值不能赋予数据任何重要性，只能说明某事件发生的几率。 2、取值含义不同： （1）显着性水平是公认的小概率事件的概率值，必须在每一次统计检验之前确定，通常取α=0.05或α=0.01。这表明，当作出接受原假设的决定时，其正确的可能性（概率）为95%或99%。 （2）统计学根据显着性检验方法所得到的P 值，一般以P < 0.05 为有统计学差异， P<0.01 为有显着统计学差异，P<0.001为有极其显着的统计学差异。其含义是样本间的差异由抽样误差所致的概率小于0.05 、0.01、0.001。 (10)显着性验证方法和技巧扩展阅读P值计算方法 1、P值是： 1) 一种概率，一种在原假设为真的前提下出现观察样本以及更极端情况的概率。 2) 拒绝原假设的最小显着性水平。 3) 观察到的(实例的)显着性水平。 4) 表示对原假设的支持程度，是用于确定是否应该拒绝原假设的另一种方法。 2、P值的计算： 一般地，用X 表示检验的统计量，当H0为真时，可由样本数据计算出该统计量的值C，根据检验统计量X的具体分布，可求出P值。具体地说： 左侧检验的P值为检验统计量X 小于样本统计值C 的概率，即：P = P{ X < C} 右侧检验的P值为检验统计量X 大于样本统计值C 的概率：P = P{ X > C} 双侧检验的P值为检验统计量X 落在样本统计值C 为端点的尾部区域内的概率的2 倍：P = 2P{ X > C} (当C位于分布曲线的右端时) 或P = 2P{ X C} 。 参考资料来源：网络-显着性水平 参考资料来源：网络-假设检验中的P值

什么事显着性分析

1.概念与意义 在假设检验中，显着性水平显着性水平显着性水平显着性水平（（（（Significant level，，，，用用用用α表示表示表示表示））））的确定是假设检验中至关重要的问题。 显着性水平是在原假设成立时检验统计量的值落在某个极端区域的概率值。因此，如果取α= 0.05，如果计算出的p值小于α ，则可认为原假设是一个不可能发生的小概率事件。当然，如果真的发生了，则犯错误的可能性为5%。显然，显着性水平反映了拒绝某一原假设时所犯错误的可能性，或者说， α是指拒绝了事实上正确的原假设的概率。 2.通常的取值 α值一般在进行假设检验前由研究者根据实际的需要确定。 常用的取值是0.05或0.01。对于前者，相当于在原假设事实上正确的情况下，研究者接受这一假设的可能性为95%；对于后者，则研究者接受事实上正确的原假设的可能性为99%。 显然，降低α值可以减少拒绝原假设的可能性。因此，在报告统计分析结果时，必须给出α值。 3.进行统计推断 在进行假设检验时，各种统计软件均会给出检验统计量观测值以及原假设成立时该检验统计量取值的相伴概率（即检验统计量某特定取值及更极端可能值出现的概率，用p表示）。 p值是否小于事先确定的α值，是接受或拒绝原假设的依据。 如果p值小于事先已确定的α值，就意味着检验统计量取值的可能性很小，进而可推断原假设成立的可能性很小，因而可以拒绝原假设。相反，如果p值大于事先已确定的α值，就不能拒绝原假设。 在计算机技术十分发达，以及专业统计软件功能十分强大的今天，计算检验统计量及其相伴概率是一件十分容易的事情。 然而，在20世纪90年代以前，只有服从标准正态分布的检验统计量，人们可以直接查阅事先准备好的标准正态分布函数表，从中获得特定计算结果的相伴概率。而对于的服从t-分布、F-分布、卡方分布或其它特殊的理论分布的检验统计量（大多数的假设检验是这样），人们无法直接计算相伴概率。人们通常查阅各类假设检验的临界值表进行统计推断。这些表格以自由度和很少的几个相伴概率（通常为0.1、0.05和0.01）为自变量，以检验统计量的临界值为函数排列。 在进行统计推断时，人们使用上述临界值表根据事先确定的显着性水平，查阅对应于某一自由度和特定相伴概率的检验统计量的临界值，然后将所计算出的检验统计量与该临界值相比较。如果检验统计量的计算值大于临界值，即实际的相伴概率小于事先规定的显着性水平，便可拒绝原假设。否则，可接受原假设。 4.举例 在根据显着性水平进行统计推断时，应注意原假设的性质。 以二元相关分析为例，相关分析中的原假设是“相关系数为零”（即2个随机变量间不存在显着的相关关系）。如果计算出的检验统计量的相伴概率（p值）低于事先给定α值（如0.05），就可以认为“相关系数为零”的可能性很低， 既2个随机变量之间存在显着的相关关系。 在正态分布检验时，原假设是“样本数据来自服从正态分布的总体”。此时，如果计算出的检验统计量的相伴概率（p值）低于事先给定α值（如0.05），则表明数据不服从正态分布。只有p值高于α值时，数据才服从正态分布。这与相关分析的假设检验不同。 5.作者在描述相关分析结果时常有的失误 仅给出相关系数的值，而不给出显着性水平。这就无法判断2个随机变量间的相关性是否显着。 有时作者不是根据显着性水平判断相关关系是否显着，而是根据相关系数的大小来推断（相关系数越近1，则相关关系越显着）。问题是，相关系数本身是一个基于样本数据计算出的观测值，其本身的可靠性尚需检验。 此外，作者在论文中常常用“显着相关”和“极显着相关”来描述相关分析结果，即认为p值小于0.05就是显着相关关系（或显着相关），小于0.01就是极显着相关关系（或极显着相关）。 在假设检验中，只有 “显着”和 “不显着”，没有“极显着”这样的断语。只要计算出的检验统计量的相伴概率（p值）低于事先确定的α值，就可以认为检验结果“显着”（相关分析的原假设是“相关系数为零”，故此处的“显着”实际意味着“相关系数不为零”，或说“2个随机变量间有显着的相关关系”）；同样，只要计算出的检验统计量的相伴概率（p值）高于事先确定的α值，就可以认为检验结果“不显着”。 在进行相关分析时，不能同时使用0.05和0.01这2个显着性水平来决定是否拒绝原假设，只能使用其中的1个。