异常数据分析方法

1. 如何剔除数据中的异常值

剔除数据中的异常值的方法：

一、异常值检测

异常值的检验有很多种方法，最常见的是图示法，也有使用分析方法进行探索。

箱盒图：实验研究时经常使用，非常直观的展示出异常数据。

散点图：研究X和Y的关系时，可直观展示查看是否有异常数据。

描述分析：可通过最大最小值等各类指标大致判断数据是否有异常。

其它：比如结合正态分布图，频数分析等判断是否有异常值。

二、异常值判定

上述已经说明异常值会带来严重的影响，扭曲数据结论等。那么首先需要设定异常值的标准，然后再对其进行处理。异常值的判定标准并不统一，更多是通过人为标准进行设定，SPSSAU提供以下几类判定规则：

1、设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值“干掉”，相当于没有该异常值。如果异常值不多时建议使用此类方法。

2、填补；如果异常值非常多时，则可能需要进行填补设置，SPSSAU共提供平均值，中位数，众数和随机数共四种填补方式。建议使用平均值填补方式。

2. 如何剔除数据中的异常值

剔除数据中的异常值的方法：

箱盒图：实验研究时经常使用，非常直观的展示出异常数据。

散点图：研究X和Y的关系时，可直观展示查看是否有异常数据。

描述分析：可通过最大最小值等各类指标大致判断数据是否有异常。

其它：比如结合正态分布图，频数分析等判断是否有异常值。

定义：

异常值outlier：一组测定值中与平均值的偏差超过两倍标准差的测定值 。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。

在统计检验时，指定为检出异常值的显着性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显着性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。

3. 如何判别测量数据中是否有异常值

一般异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等，下面对这些方法进行相关的介绍。

1. 简单统计

如果使用pandas，我们可以直接使用describe()来观察数据的统计性描述（只是粗略的观察一些统计量），不过统计数据为连续型的，如下：

df.describe()红色箭头所指就是异常值。

以上是常用到的判断异常值的简单方法。下面来介绍一些较为复杂的检测异常值算法，由于涉及内容较多，仅介绍核心思想，感兴趣的朋友可自行深入研究。

4. 基于模型检测

这种方法一般会构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。如果模型是簇的集合，则异常是不显着属于任何簇的对象；如果模型是回归时，异常是相对远离预测值的对象。

离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。

比如特征工程中的RobustScaler方法，在做数据特征值缩放的时候，它会利用数据特征的分位数分布，将数据根据分位数划分为多段，只取中间段来做缩放，比如只取25%分位数到75%分位数的数据做缩放。这样减小了异常数据的影响。

优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

5. 基于近邻度的离群点检测

统计方法是利用数据的分布来观察异常值，一些方法甚至需要一些分布条件，而在实际中数据的分布很难达到一些假设条件，在使用上有一定的局限性。

确定数据集的有意义的邻近性度量比确定它的统计分布更容易。这种方法比统计学方法更一般、更容易使用，因为一个对象的离群点得分由到它的k-最近邻（KNN）的距离给定。

需要注意的是：离群点得分对k的取值高度敏感。如果k太小，则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。

优缺点：（1）简单；（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；（3）该方法对参数的选择也是敏感的；（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

5. 基于密度的离群点检测

从基于密度的观点来说，离群点是在低密度区域中的对象。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。

优缺点：（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

6. 基于聚类的方法来做异常点检测

基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇，那么该对象属于离群点。

离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。这也是k-means算法的缺点，对离群点敏感。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。

优缺点：（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

7. 专门的离群点检测

其实以上说到聚类方法的本意是是无监督分类，并不是为了寻找离群点的，只是恰好它的功能可以实现离群点的检测，算是一个衍生的功能。

4. 是什么分析方法比较适合当前基于公安交通管理综合应用平台的异常业务数据分析

咨询记录 · 回答于2021-10-09

5. 异常检测有哪些主要的分析方法

1. 概率统计方法
在基于异常检测技术的IDS中应用最早也是最多的一种方法。
首先要对系统或用户的行为按照一定的时间间隔进行采样，样本的内容包括每个会话的登录、退出情况，CPU和内存的占用情况，硬盘等存储介质的使用情况等。
将每次采集到的样本进行计算，得出一系列的参数变量对这些行为进行描述，从而产生行为轮廓，将每次采样后得到的行为轮廓与已有轮廓进行合并，最终得到系统和用户的正常行为轮廓。IDS通过将当前采集到的行为轮廓与正常行为轮廓相比较，来检测是否存在网络入侵行为。
2. 预测模式生成法
假设条件是事件序列不是随机的而是遵循可辨别的模式。这种检测方法的特点是考虑了事件的序列及其相互联系，利用时间规则识别用户行为正常模式的特征。通过归纳学习产生这些规则集，并能动态地修改系统中的这些规则，使之具有较高的预测性、准确性。如果规则在大部分时间是正确的，并能够成功地运用预测所观察到的数据，那么规则就具有高可信度。
3. 神经网络方法
基本思想是用一系列信息单元(命令)训练神经单元，这样在给定一组输入后、就可能预测出输出。与统计理论相比，神经网络更好地表达了变量间的非线性关系，并且能自动学习并更新。实验表明UNIX系统管理员的行为几乎全是可以预测的，对于一般用户，不可预测的行为也只占了很少的一部分。

6. 怎么对统计数据的异常值进行判断和处理

异常值，指的是样本中的一些数值明显偏离其余数值的样本点，所以也称为离群点。异常值分析就是要将这些离群点找出来，然后进行分析。

异常值判断

在不同的数据中，鉴别异常值有不同的标准，常规有以下几种：

（1）数字超过某个标准值

这是最常用的异常值判断方法之一。主要是看数据中的最大值或最小值，依据专业知识或个人经验，判断是否超过了理论范围值，数据中有没有明显不符合实际情况的错误。

比如，测量成年男性身高（M），出现17.8m这样的数据，显然不符合实际情况。

又或者，如问卷数据使用1-5级量表进行研究，出现-2，-3这类数据，则可能提示为跳转题、空选等。

（2）数据大于±3标准差

3σ 原则是在数据服从正态分布的时候用的比较多，在这种情况下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。

在数据处理的时候，按照正态分布的性质，三个标准差以外的数据都可以被看作是错误的数据从而排除掉。

7. 数据分析方法

常见的分析方法有：分类分析，矩阵分析，漏斗分析，相关分析，逻辑树分析，趋势分析，行为轨迹分析，等等。 我用HR的工作来举例，说明上面这些分析要怎么做，才能得出洞见。

01） 分类分析
比如分成不同部门、不同岗位层级、不同年龄段，来分析人才流失率。比如发现某个部门流失率特别高，那么就可以去分析。

02） 矩阵分析
比如公司有价值观和能力的考核，那么可以把考核结果做出矩阵图，能力强价值匹配的员工、能力强价值不匹配的员工、能力弱价值匹配的员工、能力弱价值不匹配的员工各占多少比例，从而发现公司的人才健康度。

03） 漏斗分析
比如记录招聘数据，投递简历、通过初筛、通过一面、通过二面、通过终面、接下Offer、成功入职、通过试用期，这就是一个完整的招聘漏斗，从数据中，可以看到哪个环节还可以优化。

04） 相关分析
比如公司各个分店的人才流失率差异较大，那么可以把各个分店的员工流失率，跟分店的一些特性（地理位置、薪酬水平、福利水平、员工年龄、管理人员年龄等）要素进行相关性分析，找到最能够挽留员工的关键因素。

05） 逻辑树分析
比如近期发现员工的满意度有所降低，那么就进行拆解，满意度跟薪酬、福利、职业发展、工作氛围有关，然后薪酬分为基本薪资和奖金，这样层层拆解，找出满意度各个影响因素里面的变化因素，从而得出洞见。

06） 趋势分析
比如人才流失率过去12个月的变化趋势。

07）行为轨迹分析
比如跟踪一个销售人员的行为轨迹，从入职、到开始产生业绩、到业绩快速增长、到疲惫期、到逐渐稳定。

8. 常用的数据分析方法有哪些

常见的数据分析方法有哪些？
1.趋势分析
当有大量数据时，我们希望更快，更方便地从数据中查找数据信息，这时我们需要使用图形功能。所谓的图形功能就是用EXCEl或其他绘图工具来绘制图形。
趋势分析通常用于长期跟踪核心指标，例如点击率，GMV和活跃用户数。通常，只制作一个简单的数据趋势图，但并不是分析数据趋势图。它必须像上面一样。数据具有那些趋势变化，无论是周期性的，是否存在拐点以及分析背后的原因，还是内部的或外部的。趋势分析的最佳输出是比率，有环比，同比和固定基数比。例如，2017年4月的GDP比3月增加了多少，这是环比关系，该环比关系反映了近期趋势的变化，但具有季节性影响。为了消除季节性因素的影响，引入了同比数据，例如：2017年4月的GDP与2016年4月相比增长了多少，这是同比数据。更好地理解固定基准比率，即固定某个基准点，例如，以2017年1月的数据为基准点，固定基准比率是2017年5月数据与该数据2017年1月之间的比较。
2.对比分析
水平对比度：水平对比度是与自己进行比较。最常见的数据指标是需要与目标值进行比较，以了解我们是否已完成目标；与上个月相比，要了解我们环比的增长情况。
纵向对比：简单来说，就是与其他对比。我们必须与竞争对手进行比较以了解我们在市场上的份额和地位。
许多人可能会说比较分析听起来很简单。让我举一个例子。有一个电子商务公司的登录页面。昨天的PV是5000。您如何看待此类数据？您不会有任何感觉。如果此签到页面的平均PV为10,000，则意味着昨天有一个主要问题。如果签到页面的平均PV为2000，则昨天有一个跳跃。数据只能通过比较才有意义。
3.象限分析
根据不同的数据，每个比较对象分为4个象限。如果将IQ和EQ划分，则可以将其划分为两个维度和四个象限，每个人都有自己的象限。一般来说，智商保证一个人的下限，情商提高一个人的上限。
说一个象限分析方法的例子，在实际工作中使用过：通常，p2p产品的注册用户由第三方渠道主导。如果您可以根据流量来源的质量和数量划分四个象限，然后选择一个固定的时间点，比较每个渠道的流量成本效果，则该质量可以用作保留的总金额的维度为标准。对于高质量和高数量的通道，继续增加引入高质量和低数量的通道，低质量和低数量的通过，低质量和高数量的尝试策略和要求，例如象限分析可以让我们比较和分析时间以获得非常直观和快速的结果。
4.交叉分析
比较分析包括水平和垂直比较。如果要同时比较水平和垂直方向，则可以使用交叉分析方法。交叉分析方法是从多个维度交叉显示数据，并从多个角度执行组合分析。
分析应用程序数据时，通常分为iOS和Android。
交叉分析的主要功能是从多个维度细分数据并找到最相关的维度，以探究数据更改的原因。

9. 如何做数据分析

数据分析行业应用,一般数据来源：智能手机 感知装置 物联网 社群媒体等 云计算存储.cda官网有很多行业案例,比如
风能发电业务场景
风力发电机有一个叶片，时间长了就要换，否则不安全，过去这个叶片一般10年换一次，因为没办法知道具体产品的使用情况，只能根据以往叶片老化的情况来估算。但这家公司在叶片上装了传感器，就能检测每个叶片的具体使用情况了，风大的地方，叶片老化快，可能8年就要换，风力均匀的地方，有些叶片可能用15年，这样就能节省资本更新的成本了。
而且，过去这家公司只生产设备，这些设备被卖到国外，具体安装到什么地方，他是不知道的，有了传感器，公司就能知道这些发电机被安装到哪里，这些地方的风力是大是小，一年四季哪天有风哪天有雨，这些数据都可以获取。根据这些数据，就能知道哪些地区风力资源丰富，有重点地规划未来市场。传统的行业利用大数据，就能更好地实现市场预判和销售提升，分分钟实现逆袭。