1. 异常点检测方法
一、基本概念
异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。
常见的异常成因：数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。
异常检测的方法：
（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显着属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。
（2）基于邻近度的技术：通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象。
（3）基于密度的技术：仅当一个点的局部密度显着低于它的大部分近邻时才将其分类为离群点。
二、异常点检测的方法
1、统计方法检测离群点
统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。大部分用于离群点检测的统计学方法都是构建一个概率分布模型，并考虑对象有多大可能符合该模型。离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。异常检测的混合模型方法：对于异常检测，数据用两个分布的混合模型建模，一个分布为普通数据，而另一个为离群点。
聚类和异常检测目标都是估计分布的参数，以最大化数据的总似然（概率）。聚类时，使用EM算法估计每个概率分布的参数。然而，这里提供的异常检测技术使用一种更简单的方法。初始时将所有对象放入普通对象集，而异常对象集为空。然后，用一个迭代过程将对象从普通集转移到异常集，只要该转移能提高数据的总似然（其实等价于把在正常对象的分布下具有低概率的对象分类为离群点）。（假设异常对象属于均匀分布）。异常对象由这样一些对象组成，这些对象在均匀分布下比在正常分布下具有显着较高的概率。
优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。
2、基于邻近度的离群点检测。
一个对象是异常的，如果它远离大部分点。这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。一个对象的离群点得分由到它的k-最近邻的距离给定。离群点得分对k的取值高度敏感。如果k太小（例如1），则少量的邻近离群点可能导致较低的离群点得分；如果k太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。
优缺点：（1）简单；（2）缺点：基于邻近度的方法需要O(m^2)时间，大数据集不适用；（3）该方法对参数的选择也是敏感的；（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。
3、基于密度的离群点检测。
从基于密度的观点来说，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。需要小心的选择d，如果d太小，则许多正常点可能具有低密度，从而具有高离群点得分。如果d太大，则许多离群点可能具有与正常点类似的密度（和离群点得分）。使用任何密度定义检测离群点具有与基于邻近度的离群点方案类似的特点和局限性。特殊地，当数据包含不同密度的区域时，它们不能正确的识别离群点。
为了正确的识别这种数据集中的离群点，我们需要与对象邻域相关的密度概念，也就是定义相对密度。常见的有两种方法：（1）使用基于SNN密度的聚类算法使用的方法；（2）用点x的密度与它的最近邻y的平均密度之比作为相对密度。
使用相对密度的离群点检测（局部离群点要素LOF技术）：首先，对于指定的近邻个数（k），基于对象的最近邻计算对象的密度density(x,k) ，由此计算每个对象的离群点得分；然后，计算点的邻近平均密度，并使用它们计算点的平均相对密度。这个量指示x是否在比它的近邻更稠密或更稀疏的邻域内，并取作x的离群点得分（这个是建立在上面的离群点得分基础上的）。
优缺点：
（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；
（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；
（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。
4、基于聚类的技术
一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇。这个方法可以和其他任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值。这种方案对簇个数的选择高度敏感。使用这个方案很难将离群点得分附加到对象上。一种更系统的方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）（基于原型的聚类可用离中心点的距离来评估，对具有目标函数的聚类技术该得分反映删除对象后目标函数的改进（这个可能是计算密集的））。基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇。离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。还有一种更复杂的方法：取一组不能很好的拟合任何簇的特殊对象，这组对象代表潜在的离群点。随着聚类过程的进展，簇在变化。不再强属于任何簇的对象被添加到潜在的离群点集合；而当前在该集合中的对象被测试，如果它现在强属于一个簇，就可以将它从潜在的离群点集合中移除。聚类过程结束时还留在该集合中的点被分类为离群点（这种方法也不能保证产生最优解，甚至不比前面的简单算法好，在使用相对距离计算离群点得分时，这个问题特别严重）。
对象是否被认为是离群点可能依赖于簇的个数（如k很大时的噪声簇）。该问题也没有简单的答案。一种策略是对于不同的簇个数重复该分析。另一种方法是找出大量小簇，其想法是（1）较小的簇倾向于更加凝聚，（2）如果存在大量小簇时一个对象是离群点，则它多半是一个真正的离群点。不利的一面是一组离群点可能形成小簇而逃避检测。
优缺点：
（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；
（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；
（3） 产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；
（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。
新颖性和离群值检测
离群值检测：训练数据包含离群值，即与其他观测值相距甚远的观测值。离群检测估计器会尝试拟合训练数据最集中的区域，忽略异常观察。
新颖性检测：训练数据不受异常值的污染，有兴趣检测新观察值是否是异常值。该情况下离群值也称为新颖性。
离群值检测和新颖性检测均用于异常检测，离群值检测称为无监督异常检测，新颖性检测称为半监督异常检测。离群值检测的情况下，离群值/异常不能形成密集的群集，可假设离群值/异常位于低密度区域；新颖性检测的情况下，只要新颖性/异常位于训练数据的低密度区域，就可以形成密集的簇。
通过对玩具数据集进行异常检测比较异常检测算法
数据集中包含一种或两种模式（高密度区域），以说明算法处理多模式数据的能力。
对于每个数据集，将生成15%的样本作为随机均匀噪声。该比例是OneClassSVM的nu参数和其他异常值检测算法的污染参数提供的值。离群值之间的决策边界以黑色显示，但是LOF除外，因为当采用LOF用于离群值检测时，没有适用于新数据的预测方法。
OneClassSVM对异常值敏感，对异常值检测执行的不好。当训练集不受异常值污染时，此估计器最适合新颖性检测。即不适用在高维中进行离群值检测或者不对基础数据的分布进行任何假设，OneClassSVM在这些情况下可能会根据其超参数给出有用的结果。
covariance EllipticEnvelope（协方差椭圆密度）假定数据是高斯分布并学习一个椭圆。在数据不是单峰时，会退化。此估计器对异常值具有鲁棒性。
IsolationFrorest和LocalOutlierFactor针对多模式数据集效果显着。LOF针对第三种数据集，明显优于其它三种估计器，该数据集中两种模式的密度不同。LOF的局部方面，即它仅将一个样本的异常评分与其邻居评分作比较，从何体现了该方法的优势。
针对最后一个均匀分布在超立方体中的数据集，很难说一个样本比另一个样本异常得多。除了OneClassSVM有些过拟合外，所有估计器都针对该情况提出不错的解决方案。针对这种情况，应该仔细观察样本的异常分数，性能好的估算器应该为所有样本分配相似的分数。
使用局部离群因子（LOF）进行离群值检测
LOF算法是一种无监督的异常检测方法，可计算给定数据点相对于其邻居的局部密度偏差。其中密度远低于其邻居的样本为异常值。
LOF算法的优势在于同时考虑了数据集的局部和全局属性：即使在异常样本具有不同底层密度的数据集中，仍能保持良好性能。问题不在于样本有多孤立，而在于样本相对于周围邻域有多孤立。
通常考虑的邻居数量（1）大于群集必须包含的最小样本数量，以便其他样本可以是相对于该群集的局部离散值；（2）小于可能是局部异常值的最大进距采样数，此类消息通常不可用，采用n_neighbors=20。
具有局部异常值的新颖性检验
LOF是一种无监督的异常检测方法，可计算给定数据点相对于其邻居的局部密度偏差，密度远低于其邻居的样本为异常值。LOF用于新颖性检验时，切勿在训练集上使用预测、决定函数、实例得分，会导致结果错误。只能对新的看不见的数据（不在训练集中）使用这些方法。
通常考虑邻居数量（1）大于群集必须包含的最小样本数，以便其他样本可以是相对于该群集的局部离群值；（2）小于可能是局部异常值的最大进距采样数，此类消息通常不可用，采用n_neighbors=20。
隔离林
在高维数据集中执行异常检测的一种有效方法是使用随机森林，分离的观察通过随机选择一个函数，随机选择所选择的特征的最大值和最小值之间的分割值。递归分区可用树结构表示，隔离样本所需的拆分数量等于从根节点到终止结点的路径长度。随机树的森林中的平均路径长度是对正态性和决策函数的度量。随机分区产生的异常路径明显较短，因此如果随机树森林为特定样本生成的较短路径，则该树代表的值很可能是异常的。
OneClassSVM
无监督的离群值检测，支持高维分布，基于libsvm
不假定数据分布的任何参数形式，可以更好的对数据的复杂形状进行建模，能够捕获真实的数据结构，难点在于调整核函数宽度参数，以便在数据散布矩阵的形状和数据过度拟合的风险间取得折中。
协方差椭圆密度
用于检测高斯分布数据集中的异常值的对象
经验协方差估计（作为非稳健估计）受到观测值异质结构的高度影响；鲁棒协方差估计能够集中于数据分布的主要模式，但是它坚持假设数据是高斯分布，产生了对数据结构的某些估计，在一定程度上是准确的。
HBOS单维效果极佳，但是标准差方法的mask 掩码效应严重。例如 数据通常在100以内，但是有两个异常点，500，1000000。这个算法就不能检出500这个异常点。
对比而言，孤立森林理论上更适合大数据的异常检测，且无掩码效应。孤立森林确定异常时训练只用样本数据。每颗树样本数量默认只有256个，默认只用100颗树。所以理论上25600个样本就能确定海量数据中的异常点了。
Sklearn的 isolation forest 例子默认是读入全量数据再采样。如果配上warm up 选项就能分批放入采样。
异常检测的深度学习研究综述
2. 立体声音响测试方法技巧
立体声音响测试方法技巧
音箱在房间中的摆放位置，对音箱的低频通常有影响。所以，在检查音箱的摆位时，要特别注意音箱的低频。下面是我为大家分享立体声音响测试方法技巧，欢迎大家阅读浏览。
1. 主音箱的相位校准
(a) 播放测试CD上的第45~49轨，它们是左右声道的粉红噪声信号，先是同相播放5秒(s)，而后是反相播放5秒(s)，最后再同相播放5秒(s)。
(b) 使用你的耳朵进行相位的判断。首先需要保证你坐在听音点上，如果信号同相，你会听到更多的低频信号，而声音也是来源于扬声器间的一个固定点。如果信号反相，声像将失去低频，声像变散，指向性的信息变得模糊起来。
也可以使用RTA软件进行相位的测定。
2. 检查音箱的摆放位置
(a) 音箱在房间中的摆放位置，对音箱的低频通常有影响。所以，在检查音箱的摆位时，要特别注意音箱的低频。
(b) 我们使用测试CD中的第31~39轨的低频扫频信号，进行音箱摆位的检查。
(c) 在扫频的过程中，你会听到“滴”的声音，这是在告诉你信号正在经过某一个ISO的中心频率。连续两次“滴”声，表示信号正在经过一个倍频程的中心频率，而一次“滴”声则表示正在经过1/3倍频程的中心频率。
(d) 每次仅使用1只扬声器播放信号。
(e) 用你的耳朵聆听，如果摆位合适，没有任何的频率染色，你将听到音调平滑地逐渐升高(请记住，人耳的频率响应不是平直的)。如果有某些频率相对于其他频率点被加强或者衰减，请记下大致的频率范围。这个频率点应恰好在你所选的`主音箱和低频音箱的分频点之上。
(f) 如果实在找不到合适的放置位置，你可以考虑对房间的声学条件进行改善。如果有前级处理设备，也可以考虑通过均衡来获得一个更加平滑的频率响应。但是记住：均衡永远不可能弥补不佳的声学条件。
(g) 如果你进行了均衡调整，请在15分钟(min)以后，重新回来，聆听你熟悉的音乐。这时，从音箱里获得的第一印象非常重要，因为长时间的聆听会让感受到的音色发生变化。确保第一印象是你所需要的声音。
3. 校准主音箱
(a) 校准音箱是为了保证，在输入相同信号的条件下，每只音箱在听音点都以相同的声压级回放。一旦校准完成，请在前级处锁定输入信号电平。
(b) 把总音量旋钮置于通常设定的位置上。
(c) 播放第12或23轨，这是500Hz~2kHz的带通粉红噪声。每次只测量一只音箱。使用声级计在听音点，分别测量两只音箱播放的声音在该处的声压级，调整每只音箱的增益，使两只音箱的声压级相同。
( d) 注意，在测量声压的时候，请在声压计或软件中选择C计权。
(e) 如果是为音频制作所进行的扬声器校准，请将-20dBFS的粉红噪声输入，校准至以下声压级：
电影 83dB(C) 电视 78dB(C) 音乐 78~93dB(C)
如果有低音音箱(Subwoofer)，请继续进行以下步骤。
4. 检查低音音箱的摆位
(a) 我们使用测试CD中的第31~39轨的低频扫频信号，进行音箱摆位的检查。
(b) 在扫频的过程中，你会听到“滴”的声音，这是在告诉你信号正在经过某一个ISO的中心频率。连续两次“滴”声，表示信号正在经过一个倍频程的中心频率，而一次“滴”声则表示正在经过1/3倍频程的中心频率。
(c) 每次仅使用低音扬声器播放信号，将其他音箱静音。
(d) 用你的耳朵聆听，如果摆位合适，没有任何的频率染色，你将听到音调平滑地逐渐升高(请记住，人耳的频率响应不是平直的)。如果有某些频率相对于其他频率点被加强或者衰减，请记下大致的频率范围，并对低音音箱的位置进行调整。如果使用声级计进行测定，请将计权拨至LIN档，如果声级计没有LIN选项，则选择C计权。
5. 检查分频点以及低音音箱的增益
(a) 打开所有的音箱以及功放的低频管理功能。但每次只测试一个声道。从左声道开始。
(b) 播放CD中的低频扫频信号(31~42轨)，聆听频率响应，或是使用声级计/RTA软件进行测量。如果使用RTA软件，可以播放全频段的粉红噪声，并使用频谱分析仪进行观察，调整低音音箱的增益，使分频点两边的响应一致。
(c) 如果分频点不合适，请到功放中改选合适的分频点。
(d) 检查完一个声道，再检查下一个声道。最后两个声道同时校准。
6. 相位检查
(a) 本项检查是要保证低音音箱的相位与主音箱一致。
(b) 打开所有的音箱以及低频管理。播放CD中第46轨。该测试信号为20~200Hz带通粉红噪声，以同相、反相、同相的顺序播放。
(c) 如果反相，你会感觉到低频缺失，响度变弱。如果同相，则声音饱满。请注意粉红噪声的次序。
;