A. 离群值的特征
发现离群值也可以通过观察值的频数表或直方图来初步判断,也可通过统计软件作观察值的箱式图来判断,如果观测值距箱式图底线Q1(第25百分位数)或顶线Q3(第75百分位数)过远,如超出箱体高度(四分位数间距)的两倍以上,则可视该观测值为离群值。当数据近似正态分布时,有一种较为简单的方法,可用均数加减2.5s来判断,如观测值在此范围以外,可视为离群值。在统计学上也可用线性回归的方法来对离群值进行判断。当出现离群值的时候,要慎重处理,要将专业知识和统计学方法结合起来,首先应认真检查原始数据,看能否从专业上加以合理的解释,如数据存在逻辑错误而原始记录又确实如此,又无法在找到该观察对象进行核实,则只能将该观测值删除。如果数据间无明显的逻辑错误,则可将离群值删除前后各做一次统计分析,若前后结果不矛盾,则该例观测值可予以保留。
离群值处理方法包括:
一、剔除离群值,不追加观测值;
二、剔除离群值,追加观测值;或剔除离群值,适宜地插补替代;
三、找到实际原因修正离群值,否则予以保留的; 离群值的取舍 1. 定义在一组平行测定数据中,有时会出现个别值与其他值相差较远,这种值叫离群值。判断一个测定值是否是离群值,不是把数据摆在一块看一看,那个离得远,那个是离群值,而是要经过计算、比较才能确定,我们用的方法就叫Q检验法。2. 检验方法(1)求Q:Q= 即:求出离群值与其最邻近的一个数值的差,再将它与极差相比就得Q值。(2)比较:根据测定次数n和置信度查Q,若Q>Q,则离群值应舍去,反之则保留离群值。
B. 离群值怎么计算,是做生化实验的结果做统计要用,具体怎么计算,还有它的统计学意义,在线等,好的加分
离群值的定义各个行业有可能有不同的标准。国际上比较通用的标准是以低于箱形图(Boxplot)下箱体的1.5倍个四分位间距(IQR),或是高于箱形图(Boxplot)上箱体的1.5倍个四分位间距作为离群值的定义,当这个标准提高至3倍个四分位间距时定义为极端值。不过这个算法使用手算很麻烦,我推荐你使用SPSS软件。
使用SPSS的频率(Frequencies)程序就可以了,步骤是Analyze,Descriptive Statistics ,Frequencies,Statistics,在这个对话框中勾选quartils就可以了,以下就是我做的一个结果。
Statistics
数学期中
N Valid 335
Missing 7
Percentiles 25 85.5000
50 92.0000
75 96.0000
因此,(上箱体位置)Q3等于96,(下箱体位置)Q1等于85.5,表明学生25%--75%的分数范围位于85.5--96.0之间。此时IQR=Q3-Q1=96-85.5=10.5
离群值:
当你的数据低于85.5-1.5X10.5=69.75
或者
当你的数据高于96+1.5X10.5=111.75
极端值:
当你的数据低于85.5-3X10.5=54.0
或者
当你的数据高于96+3X10.5=127.5
以上方法是一个国际通用的方法,不管你的数据是否符合正态分布都可以使用。你的生化数据使用这个方法应该是没有问题的,顺便说一下,我也在生化实验室工作过。
此外,使用SPSS的Explore可以生成箱形图(Boxplot),并直接在图中显示出离群值和极端值。
C. R如何找热图中的离群值
可以通过三个方法找出离群值:
1.单变量检测法
2.双变量检测法
3.多元模型检测法
离群值 (outliers)是指在一份数据中,与其他观察值具有明显不同特征的那些观察值。然而,并没有一个明确的准则来判断哪些观察值属于“离群值”。这主要取决于多种因素。
D. 用spss怎么找出离群值和异常值
第一步:异常值检测
异常值的检验有很多种方法,最常见的是图示法,也有使用分析方法进行探索,如下说明。
箱盒图:实验研究时经常使用,非常直观的展示出异常数据;
散点图:研究X和Y的关系时,可直观展示查看是否有异常数据;
描述分析:可通过最大最小值等各类指标大致判断数据是否有异常;
其它:比如结合正态分布图,频数分析等判断是否有异常值。
02
第二步:异常值判定
上述已经说明异常值会带来严重的影响,扭曲数据结论等。那么首先需要设定异常值的标准,然后再对其进行处理。异常值的判定标准并不统一,更多是通过人为标准进行设定,SPSSAU提供以下几类判定规则:
缺失数字
小于设定标准的数字
大于设定标准的数字
大于3个标准差
03
第三步:异常值处理
完成异常值的判定之后,接着需要进行处理;SPSSAU提供两类处理方式,分别为:
1、设置为Null值;此类处理最简单,而且绝大多数情况下均使用此类处理;直接将异常值“干掉”,相当于没有该异常值。如果异常值不多时建议使用此类方法
2、填补;如果异常值非常多时,则可能需要进行填补设置,SPSSAU共提供平均值,中位数,众数和随机数共四种填补方式。建议使用平均值填补方式。
E. 请教关于离群值的处理问题
我们在分析数据的时候,经常会碰到某些数据远远大于或小于其他数据,这些明显偏离的数据就是离群值,也叫奇异值、极端值。
离群值产生的原因大致有两点:
1.总体固有变异的极端表现,这是真实而正常的数据,只是在这次实验中表现的有些极端,这类离群值与其余观测值属于同一总体。
2.由于试验条件和实验方法的偶然性,或观测、记录、计算时的失误所产生的结果,是一种非正常的、错误的数据,这些数据与其余观测值不属于同一总体。
由于数据的分布不同,判断离群值的方法也有所差别,在此只介绍国标GB/T4883-2008对于正态分布情况下的离群值判断方法,其他分布情况下,我还没有找到相关资料。
对于离群值,国标也有一些概念定义:
1.检出水平
为检验出离群值而指定的统计检验的显着性水平,和大多数检验一样,α一般为0.05
2.剔除水平
为检验出离群值是否为高度离群值而指定的统计检验的显着性水平,剔除水平α*不应超过检出水平α,通常为0.01,个人认为这个剔除水平就是判断该离群值是否需要实际剔除,也就是说该离群值有可能是第二类原因产生的非正常样本数据。
3.统计离群值
在剔除水平下统计检验为显着的离群值
4.歧离值
在检出水平下显着,而在剔除水平下不显着的离群值。
================================================
正态分布情况下的离群值判断方法,大致可分为两类:可以检验剔除水平和不可检验剔除水平
一、可检验剔除水平
1.总体标准差已知时,奈尔检验法
对样本数据按从小到大顺序排序,
如怀疑最大值X(n)为最大值,则计算统计量Rn
确定检出水平α,查奈尔系数表(见国标GB/T4883-2008),得出临界值
当Rn>R1-α(n)时,判定X(n)为离群值,否则不能判定
确定剔除水平α*,查奈尔系数表(见国标GB/T4883-2008),得出临界值
当Rn>R1-α*(n)时,判定X(n)为统计离群值,否则不能判定
如怀疑最小值X(1)为最大值,则计算统计量Rn'
确定检出水平α,查奈尔系数表(见国标GB/T4883-2008),得出临界值
当Rn'>R1-α(n)时,判定X(1)为离群值,否则不能判定
确定剔除水平α*,查奈尔系数表(见国标GB/T4883-2008),得出临界值
当Rn'>R1-α*(n)时,判定X(1)为统计离群值,否则不能判定
2.总体标准差未知时,格拉布斯检验法
对样本数据按从小到大顺序排序,然后计算样本均值和样本标准差s
如怀疑最大值X(n)为最大值,计算统计量Gn
确定检出水平α,查出格拉布斯系数表(见国标GB/T4883-2008),得出临界值
当Gn>G1-α(n)时,判定X(n)为离群值,否则不能判定
确定剔除水平α*,查出格拉布斯系数表(见国标GB/T4883-2008),得出临界值
当Gn>G1-α*(n)时,判定X(n)为统计离群值,否则不能判定
如怀疑最小值X(1)为最大值,则计算统计量Gn'
确定检出水平α,查出格拉布斯系数表(见国标GB/T4883-2008),得出临界值
当Gn'>G1-α(n)时,判定X(1)为离群值,否则不能判定
确定剔除水平α*,查出格拉布斯系数表(见国标GB/T4883-2008),得出临界值
当Gn'>G1-α*(n)时,判定X(1)为统计离群值,否则不能判定
3.总体标准差未知时,狄克逊(Dixon)检验法
对样本数据按从小到大顺序排序
样本量n在3-30时
计算统计量
样本量n在30-100时
计算统计量
确定检出水平α,查狄克逊系数表(见国标GB/T4883-2008),得出临界值
当Dn>D1-α(n)时,判定高端值X(n)为离群值,否则不能判定
当Dn'>D1-α*(n)时,判定低端值X(1)为离群值,否则不能判定
4.总体标准差未知时,偏度-峰度检验法
我们知道峰度和偏度是判断数据是否为正态分布的指标,而离群值则明显偏离样本主体,因此我们也可以使用偏度-峰度检验法来判断离群值
<1>单侧情形——偏度检验法
当离群值处于高端或低端一侧时,可使用偏度检验法判断,首先构造偏度统计量bs
确定检出水平α,查偏度检验系数表(见国标GB/T4883-2008),得出临界值
当bs>b1-α(n)时,判定高端值X(n)为离群值,否则不能判定
当bs'>b1-α(n)时,判定低端值X(1)为离群值,否则不能判定
确定剔除水平α*,查偏度系数表(见国标GB/T4883-2008),得出临界值
当bs>b1-α*(n)时,判定高端值X(n)为统计离群值,否则不能判定
当bs'>b1-α*(n)时,判定低端值X(1)为统计离群值,否则不能判定
<2>双侧情形——峰度检验法
当高端、低端两侧都可能出现离群值时,可使用峰度检验法判断,首先构造峰度统计量bk
确定检出水平α,查峰度检验系数表(见国标GB/T4883-2008),得出临界值
当bk>b'1-α(n)时,判定离均值最远的观测值为离群值,否则判定未发现离群值
确定剔除水平α*,查峰度系数表(见国标GB/T4883-2008),得出临界值
当bk>b'1-α*(n)时,判定离均值最远的观测值为统计离群值,否则未发现统计离群值。
二、不可检验剔除水平
1.观察法
根据直方图或四分位图进行判断,现在很多统计软件在绘制这两种图时,都会将离群值特殊标记,一般认为在均值±3倍标准差以外都属于离群值,高出四分位距两倍以上也属于离群值。
2.莱伊达法
又称为3σ准则,在已知总体标准差的情况下使用σ进行判断,但是实际上总体标准差往往未知,因此常使用样本标准差s替代σ,以样本均值替代真值,具体为
Xd是疑似离群值,X为均值
如果疑似离群值与均值的差值大于三倍标准差,则可认为该值为离群值。
3.肖维特法
统计量
如果计算出的ω值大于肖维特系数表中相应测定次数n时的值,则可认为该值为异常值
3.罗曼诺夫斯基检验法
又称t检验,首先将疑似离群值剔除,然后计算剔除后的均值和标准差
根据测量次数n和显着性水平α,进行t检验,得出系数k,如果
则认为xj为离群值
4.4d检验法
5.中位数与算数平均值比较判断法
我们知道中位数居于一组数据中间的数,而均值则可认为是一组数字的“重心”或“平衡点”,当二者相等的时候,可认为这组数字是绝对平衡、没有离群值的,我们可以据此进行判断,当二者相差较大时,表面该组数据可能存在离群值,将疑似离群值剔除之后,再计算均值和中位数,如果二者相差变小,则可认为被剔除值是离群值。
======================================
判断离群值方法的选择与应注意的问题
1.合理选择离群值的判断方法
离群值的判断方法很多,实际中到底选用哪一个,需根据对测量要求的精准度和测量次数多少来综合确定,一般情况下,测量次数多于30,或大于10次且只做粗略判断时,使用莱伊达法即可;判断精度要求不高,但要求快捷方便时,可以选用4d和中位数与算数平均数比较法。实际上,对于不用查表的方法大都比较便捷,但是代价是精度不够,且无法检验剔除水平,相反一些需要借助查表的方法精度较高但是计算复杂,各有利弊。
2.准确找出离群值
一般情况下,测量列中残差较大者就是疑似离群值,它也就是样本数据中的最大值或最小值
3.查找产生离群值的原因
已经判断为离群值的,即使是统计离群值,也不要简单剔除了之,应进一步分析产生离群值的原因。
F. 怎么用excel处理离群值
1.在菜单栏上执行:数据挖掘--清除数据--离群值。
G. 如果调查一组数据的标准差,则检验该组数据是否存在离群值的方法有哪些
可以选择以下方法。用线性回归的办法求得某一点到直线最远,去除这一点即可。异常值也称离群值,具体地说,判断标准依据实际情况,根据业务知识及实际需要而定。
要是一般地说,可以用公式计算:
upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5。
lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5。
H. 定量分析运算中离群值的取舍应遵循什么原则
摘要 这位顾客您好,我是网络资源库的百晓通导师,您的问题我已经看到了,现在我正在调取网络资源库和专家们一起来分析您的问题,从中选取最合适最贴近您实际情况的处理方案来为您解决,请您给我一点时间,我将为您完美的解决这个问题,马上就好哟
I. 分析化学离群值怎么算
分析化学离群值,即可疑值的判断(计算),常用以下两种方法:
1、Q - 检验法:需要计算平均值、统计量Q值、查Q值表,再比对判断。
2、格鲁布斯法:需要计算平均值、标准偏差、统计量T值、查t值表,在
再比对判断。
J. 分析化学离群值怎么算
分析化学离群值,即可疑值的判断(计算),常用以下两种方法:
1、Q
-
检验法:需要计算平均值、统计量Q值、查Q值表,再比对判断。
2、格鲁布斯法:需要计算平均值、标准偏差、统计量T值、查t值表,在
再比对判断。