当前位置 : 主页 > 网页制作 > HTTP/TCP >

(转)格拉布斯准则(Grubbs Criterion)处理数据异常

来源:互联网 收集:自由互联 发布时间:2021-06-16
格拉布斯准则:https://baike.baidu.com/item/%E6%A0%BC%E6%8B%89%E5%B8%83%E6%96%AF%E5%87%86%E5%88%99/3909586 Grubbs格拉布斯检验临界值表:https://wenku.baidu.com/view/0f3c083a172ded630a1cb6c8.html 原文链接:https://blog.c

格拉布斯准则:https://baike.baidu.com/item/%E6%A0%BC%E6%8B%89%E5%B8%83%E6%96%AF%E5%87%86%E5%88%99/3909586

Grubbs格拉布斯检验临界值表:https://wenku.baidu.com/view/0f3c083a172ded630a1cb6c8.html

原文链接:https://blog.csdn.net/ChenVast/article/details/82796657  

简介

Grubbs测试(以1950年发表测试的Frank E. Grubbs命名),也称为最大归一化残差测试极端学生化偏差测试,是一种统计测试,用于检测假设的单变量数据集中的异常值来自正常分布的人口。

 

定义

格拉布斯的测试基于正态假设。也就是说,在应用Grubbs测试之前,应首先验证数据是否可以通过正态分布合理地近似。

格拉布斯的测试一次检测到一个异常值。从数据集中删除该异常值,并且迭代测试直到没有检测到异常值。但是,多次迭代会改变检测概率,并且测试不应该用于六个或更少的样本大小(n>6),因为它经常将大多数点标记为异常值。

 

Grubbs测试是根据假设定义的:

:数据集中没有异常值

:数据集中只有一个异常值

 

公式

  和 分别表示样本均值和标准差。

Grubbs检验统计量是样本标准差的单位与样本均值的最大绝对偏差。

这是测试的双边版本。

 

Grubbs测试也可以定义为单侧测试

要测试最小值是否为异常值

公式:

要测试最大值是否为异常值

公式:

 

表示最小值。

表示最大值。

 

 

对于双边测试,没有异常值的假设在显著级别a级被拒绝

{\ frac {N-1} {{\ sqrt {N}}}} {\ sqrt {{\ frac {t _ {{\ alpha /ï¼2Nï¼ï¼N-2}} ^ {2}} {N -2 + t _ {{\ alpha /ï¼2Nï¼ï¼N-2}} ^ {2}}}}}" class="has" src="http://img.558idc.com/uploadfile/allimg/210616/1I40A3R-0.png" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/c7f608553c276119972bb385dd5e1798cd5476a1">

表示的上临界值的的t分布与N - 2 自由度和 显着性水平a/(2N)。对于单侧检验,用a/N代替a/(2N)。

t分布可用于构建真实均值的置信区间。

 

缺点

格拉布斯和和狄克逊法均给出了严格的结果,但存在狄克逊法同样的缺陷。

 

优化

朱宏等人采用数据值的中位数取代平均值,改进得到了更为稳健的处理方法,有效消除了同侧异常值的屏蔽效应。

国际上常推荐采用格拉布斯准则法。

 

参考:https://en.wikipedia.org/wiki/Grubbs%27_test_for_outliers

网友评论