Ⅰ 异常检测（二）——传统统计学方法
统计学方法有效性高度依赖于给定数据所做的统计的模型假设是否成立。
异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把他们作为异常点
例如：正态分布的3个 之外的点为异常点，箱线图中超过2个Q的点为异常点
根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要的类型：参数方法和非参数方法
参数方法 假定正常的数据对象被一个以 为参数的参数分布产生。该参数分布的概率密度函数 给出对象 被该分布产生的概率。该值越小, 越可能成为异常点。
非参数方法 并不假定先验统计模型，而是试图从输入数据确定模型。非参数方法通常假定参数的个数和性质都是灵活的，不预先确定（所以非参数方法并不是说模型是完全无参的，完全无参的情况下从数据学习模型是不可能的）。
仅涉及一个属性或变量的数据称为一元数据。我们假定数据由正态分布产生，然后可以由输入数据学习正态分布的参数，并把低概率的点识别为异常点。
假定输入数据集为 ，数据集中的样本服从正态分布，即 ，我们可以根据样本求出参数 和 。
求出参数之后，我们就可以根据概率密度函数计算数据点服从该分布的概率。正态分布的概率密度函数为
如果计算出来的概率低于阈值，就可以认为该数据点为异常点。
阈值是个经验值，可以选择在验证集上使得评估指标值最大（也就是效果最好）的阈值取值作为最终阈值。
例如常用的3sigma原则中，如果数据点超过范围 ，那么这些点很有可能是异常点。
这个方法还可以用于可视化。箱线图对数据分布做了一个简单的统计可视化，利用数据集的上下四分位数（Q1和Q3）、中点等形成。异常点常被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的那些数据。
用Python画一个简单的箱线图：
涉及两个或多个属性或变量的数据称为多元数据。许多一元异常点检测方法都可以扩充，用来处理多元数据。其核心思想是把多元异常点检测任务转换成一元异常点检测问题。例如基于正态分布的一元异常点检测扩充到多元情形时，可以求出每一维度的均值和标准差。对于第 维：
计算概率时的概率密度函数为
这是在各个维度的特征之间相互独立的情况下。如果特征之间有相关性，就要用到多元高斯分布了。
在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。
在异常检测的非参数方法中，“正常数据”的模型从输入数据学习，而不是假定一个先验。通常，非参数方法对数据做较少假定，因而在更多情况下都可以使用。
例子：使用直方图检测异常点。
直方图是一种频繁使用的非参数统计模型，可以用来检测异常点。该过程包括如下两步：
步骤1：构造直方图。使用输入数据（训练数据）构造一个直方图。该直方图可以是一元的，或者多元的（如果输入数据是多维的）。
尽管非参数方法并不假定任何先验统计模型，但是通常确实要求用户提供参数，以便由数据学习。例如，用户必须指定直方图的类型（等宽的或等深的）和其他参数（直方图中的箱数或每个箱的大小等）。与参数方法不同，这些参数并不指定数据分布的类型。
步骤2：检测异常点。为了确定一个对象是否是异常点，可以对照直方图检查它。在最简单的方法中，如果该对象落入直方图的一个箱中，则该对象被看作正常的，否则被认为是异常点。
对于更复杂的方法，可以使用直方图赋予每个对象一个异常点得分。例如令对象的异常点得分为该对象落入的箱的容积的倒数。
使用直方图作为异常点检测的非参数模型的一个缺点是，很难选择一个合适的箱尺寸。一方面，如果箱尺寸太小，则许多正常对象都会落入空的或稀疏的箱中，因而被误识别为异常点。另一方面，如果箱尺寸太大，则异常点对象可能渗入某些频繁的箱中，因而“假扮”成正常的。
BOS全名为：Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。
HBOS算法流程：
1.为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。对数值数据根据分布的不同采用以下两种方法：
静态宽度直方图：标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率（相对数量）作为密度（箱子高度）的估计。时间复杂度：
2.动态宽度直方图：首先对所有值进行排序，然后固定数量的 个连续值装进一个箱里，其 中N是总实例数，k是箱个数；直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的，所有箱的面积都一样，因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低，即密度小，只有一种情况例外，超过k个数相等，此时允许在同一个箱里超过 值。
时间复杂度：
2.对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的HBOS值由以下公式计算：
推导过程：
假设样本p第 i 个特征的概率密度为 ，则p的概率密度可以计算为： 两边取对数： 概率密度越大，异常评分越小，为了方便评分，两边乘以“-1”： 最后可得：
1.异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是统计上无可非议的。当然，仅当对数据所做的统计假定满足实际约束时才为真。
2.HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快得多，尤其是在大数据集上。
Ⅱ 缁熻″︾殑镙稿绩镐濇兂浠涔
缁熻℃濇兂锛屽氨鏄鍦ㄧ粺璁″疄闄呭伐浣溿佺粺璁″︾悊璁虹殑搴旂敤镰旂┒涓锛屽繀椤婚伒寰镄勫熀链鐞嗗康鍜屾寚瀵兼濇兂銆傜粺璁℃濇兂涓昏佸寘𨰾鍧囧兼濇兂銆佸彉寮傛濇兂銆佷及璁℃濇兂銆佺浉鍏虫濇兂銆佹嫙钖堟濇兂銆佹楠屾濇兂銆佸綊绾虫濇兂銆佹瘆杈冩濇兂绛夋濇兂銆
1.鍧囧兼濇兂
鍧囧兼槸瀵规墍瑕佺爷绌跺硅薄镄勭亩鏄庤岄吨瑕佺殑浠ｈ〃銆傚畠锻婅瘔鎴戜滑缁熻¤よ瘑闂棰樻槸浠庡叾鍙戝𪾢镄勪竴鑸瑙勫緥𨱒ョ湅,瑕佹眰瑙傚疗鍏朵竴鑸鍙戝𪾢瓒嫔娍,阆垮厤涓鍒锅剁劧鐜拌薄镄勫共镓,浣撶幇浜嗘讳綋瑙;钖屾椂渚ч吨镣逛笉鍦ㄦ昏勬ā鎴栦釜浣,浣撶幇浜嗘暟閲忚傚拰鎺ㄦ柇瑙伞傚洜姝ゅ潎鍊兼濇兂瑕佹眰浠庢讳綋涓婄湅闂棰,瑙傚疗鍏朵竴鑸鍙戝𪾢瓒嫔娍,阆垮厤涓鍒锅剁劧鐜拌薄镄勫共镓,浣撶幇浜嗘讳綋瑙伞佹暟閲忚傚拰鎺ㄦ柇瑙伞
2.鍙桦纾镐濇兂
缁熻＄爷绌跺悓绫荤幇璞＄殑镐讳綋鐗瑰緛锛屽畠镄勫墠鎻愬垯鏄镐讳綋钖勫崟浣岖殑鐗瑰緛瀛桦湪镌宸寮伞傜粺璁℃柟娉曞氨鏄瑕佽よ瘑浜嬬墿鏁伴噺鏂归溃镄勫樊寮伞傜粺璁″﹀弽鏄犲彉寮傛儏鍐佃缉锘烘湰镄勬傚康鏄鏂瑰樊锛屾槸琛ㄧず钬滃彉寮傗濈殑钬滀竴鑸姘村钩钬濈殑姒傚康銆傚钩鍧囦笌鍙桦纾閮芥槸瀵瑰悓绫讳簨鐗╃壒寰佺殑鎶借薄鍜屽畯瑙傚害閲忋
3.浼拌℃濇兂
浼拌℃濇兂阃氲繃镙锋湰鎴栬呮ā𨱒挎潵瀵规湭鐭ヤ簨鐗╂垨钥呮湭鍙戠敓浜嬬墿杩涜屼及璁℃帹娴嬬殑镐濇兂锛岃繖鏄鎴戜滑瀵瑰拰妯℃澘鎴栨牱链鐩哥被浼间簨鐗╃殑涓绉嶅墠鐬绘ф濇兂锛岀敱涓涓浜嬬墿镄勭壒镣瑰拰瑙勫緥𨱒ユ帹娴嫔叾浠栦簨鐗╋纴瀵硅繖浜涗簨鐗╄繘琛岃よ瘑銆备娇鐢ㄤ及璁℃柟娉曟湁涓涓棰勮撅细镙锋湰涓庢讳綋鍏锋湁鐩稿悓镄勬ц川銆傛牱链镓嶈兘浠ｈ〃镐讳綋銆备絾镙锋湰镄勪唬琛ㄦу弹锅剁劧锲犵礌褰卞搷锛屽湪浼拌＄悊璁哄圭疆淇＄▼搴︾殑娴嬮噺灏辨槸淇濇寔阃昏緫涓ヨ皑镄勫繀瑕佹ラゃ
4.鐩稿叧镐濇兂
浜嬬墿鏄鏅阆嶈仈绯荤殑锛屽湪鍙桦寲涓锛岀粡甯稿嚭鐜颁竴浜涗簨鐗╃浉闅忓叡鍙樻垨鐩搁殢鍏辩幇镄勬儏鍐碉纴镐讳綋鍙堟槸鐢辫稿氢釜鍒浜嫔姟镓缁勬垚锛岃繖浜涗釜鍒浜嬬墿鏄鐩镐簰鍏宠仈镄勶纴钥屾垜浠镓镰旂┒镄勪簨鐗╂讳綋鍙堟槸鍦ㄥ悓璐ㄦх殑锘虹涓婂舰鎴愩傚洜钥岋纴镐讳綋涓镄勪釜浣扑箣闂淬佽繖涓镐讳綋涓庡彟涓镐讳綋涔嬮棿镐绘槸鐩镐簰鍏宠仈镄勚
5.𨰾熷悎镐濇兂
𨰾熷悎鏄瀵逛笉钖岀被鍨嬩簨鐗╀箣闂村叧绯讳箣琛ㄨ薄镄勬娊璞°备换浣曚竴涓鍗曚竴镄勫叧绯诲繀椤讳緷璧栧叾浠栧叧绯昏屽瓨鍦锛屾墍链夊疄闄呬簨鐗╃殑鍏崇郴閮借〃鐜板缑闱炲父澶嶆潅锛岃繖绉嶆柟娉曞氨鏄瀵硅勫緥鎴栬秼锷跨殑𨰾熷悎銆傛嫙钖堢殑鎴愭灉鏄妯″瀷锛屽弽鏄犱竴鑸瓒嫔娍銆傝秼锷胯〃杈剧殑鏄钬滀簨鐗╁拰鍏崇郴镄勫彉鍖栬繃绋嫔湪鏁伴噺涓婃墍浣撶幇镄勬ā寮忓拰锘轰簬姝よ岄勭ず镄勫彲鑳芥р濄
6.妫楠屾濇兂
缁熻℃柟娉曟绘槸褰掔撼镐х殑锛屽叾缁撹烘案杩滃甫链変竴瀹氱殑鎴栫劧镐э纴锘轰簬灞閮ㄧ壒寰佸拰瑙勫緥镓鎺ㄥ箍鍑烘潵镄勫垽鏂涓嶅彲鑳藉畬鍏ㄥ彲淇★纴妫楠岃繃绋嫔氨鏄鍒╃敤镙锋湰镄勫疄闄呰祫鏂欐潵妫楠屼簨鍏埚规讳綋镆愪簺鏁伴噺鐗瑰緛镄勫亣璁炬槸钖﹀彲淇°
7. 褰掔撼镐濇兂銆傚綊绾虫硶鏄涓绉嶅甫链夌粨璁烘х殑镐濇兂锛岄氲繃鍏朵粬缁撹鸿繘琛屾荤粨褰掔撼寰楀嚭椋熺墿镄勭壒镐ф垨瑙勫緥锛岃繖绉嶆濇兂链夋椂寰楀嚭镄勭粨璁烘湭蹇呮槸鐪熷疄镄勶纴瑕佺湅镓阃夊彇镄勭礌𨱒愭槸钖︽槸浜嬬墿镄勫叏閮锛屼簨鐗╃殑閮ㄥ垎瑙勫緥链夊彲鑳藉缑鍑虹殑缁撹烘槸阌栾镄勶纴锲犳よ缮闇瑕佸疄闄呰祫鏂欐潵瀵圭粨璁鸿繘琛屾楠屻