檢測異常值得方法有

Ⅰ 如何判別測量數據中是否有異常值

一般異常值的檢測方法有基於統計的方法，基於聚類的方法，以及一些專門檢測異常值的方法等，下面對這些方法進行相關的介紹。

1. 簡單統計

如果使用pandas，我們可以直接使用describe()來觀察數據的統計性描述（只是粗略的觀察一些統計量），不過統計數據為連續型的，如下：

df.describe()紅色箭頭所指就是異常值。

以上是常用到的判斷異常值的簡單方法。下面來介紹一些較為復雜的檢測異常值演算法，由於涉及內容較多，僅介紹核心思想，感興趣的朋友可自行深入研究。

4. 基於模型檢測

這種方法一般會構建一個概率分布模型，並計算對象符合該模型的概率，把具有低概率的對象視為異常點。如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；如果模型是回歸時，異常是相對遠離預測值的對象。

離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。

比如特徵工程中的RobustScaler方法，在做數據特徵值縮放的時候，它會利用數據特徵的分位數分布，將數據根據分位數劃分為多段，只取中間段來做縮放，比如只取25%分位數到75%分位數的數據做縮放。這樣減小了異常數據的影響。

優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。

5. 基於近鄰度的離群點檢測

統計方法是利用數據的分布來觀察異常值，一些方法甚至需要一些分布條件，而在實際中數據的分布很難達到一些假設條件，在使用上有一定的局限性。

確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。這種方法比統計學方法更一般、更容易使用，因為一個對象的離群點得分由到它的k-最近鄰（KNN）的距離給定。

需要注意的是：離群點得分對k的取值高度敏感。如果k太小，則少量的鄰近離群點可能導致較低的離群點得分；如果K太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。

5. 基於密度的離群點檢測

從基於密度的觀點來說，離群點是在低密度區域中的對象。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。

優缺點：（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。

6. 基於聚類的方法來做異常點檢測

基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇，那麼該對象屬於離群點。

離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。這也是k-means演算法的缺點，對離群點敏感。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。

優缺點：（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；（3）產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。

7. 專門的離群點檢測

其實以上說到聚類方法的本意是是無監督分類，並不是為了尋找離群點的，只是恰好它的功能可以實現離群點的檢測，算是一個衍生的功能。

Ⅱ 異常檢測原理與實驗

異常檢測原理與實驗
最近需要對欺詐報價進行識別處理，簡單的模型就是給定很多不同數據集，需要找出每個spu下可能存在的欺詐數據，比如{20,22,30},其中的欺詐數據可能就是30。其實加以抽象，屬於異常檢測范圍。
異常檢測是發現與大部分對象不同的對象，其中這些不同的對象稱為離群點。一般異常檢測的方法主要有數理統計法、數據挖掘方法。一般在預處理階段發生的異常檢測，更多的是依託數理統計的思想完成的。
一、基於模型
首先判斷出數據的分布模型，比如某種分布（高斯分布、泊松分布等等）。然後根據原始數據（包括正常點與離群點），算出分布的參數，從而可以代入分布方程求出概率。例如高斯分布，根據原始數據求出期望u和方差？，然後擬合出高斯分布函數，從而求出原始數據出現的概率；根據數理統計的思想，概率小的可以當做離群點。
優點：
方法簡單，無需訓練，可以用在小數據集上。
缺點：
發現離群點效果差，離群點對模型參數影響大，造成區分效果差。需要數值化
import java.util.List;

/**
* 實現描述：計算正態分布
*
* @author jin.xu
* @version v1.0.0
* @see
* @since 16-9-9 下午12:02
*/
public class Gauss {
public double getMean(List<Double> dataList) {
double sum = 0;
for (double data : dataList) {
sum += data;
}
double mean = sum;
if (dataList.size() > 0) {
mean = sum / dataList.size();
}
return mean;
}

public double getStd(List<Double> dataList, double mean) {
double sum = 0;
for (double data : dataList) {
sum += (data - mean) * (data - mean);
}
double std = sum;
if (dataList.size() > 0) {
std = sum / dataList.size();
}
return Math.sqrt(std);
}

public double getProbability(double data, double meam, double std) {
double tmp = (1.0 / (Math.sqrt(2 * 3.141592653) * std)) * Math.exp(-(Math.pow(data - meam, 2) / (2 * Math.pow(std, 2))));
return tmp;
}
}
二、基於近鄰度
需要度量對象之間的距離，離群點一般是距離大部分數據比較遠的點。一般這種方法是計算每個點與其距離最近的k個點的距離和，然後累加起來，這就是K近鄰方法。

優點：
原理簡單，無需訓練，可用在任何數據集
缺點：
需要計算距離，計算量大，K的選定以及多於K個離群點聚集在一起導致誤判。
public class KNN {

public static double process(int index,Position position, int k, List<Position> positionList) {
List<Double> distances = Lists.newArrayList();
for (int i = 0; i < positionList.size(); ++i) {
if (i != index) {
distances.add(Math.sqrt(Math.pow((positionList.get(i).getX() - position.getX()), 2)+Math.pow((positionList.get(i).getY()-position.getY()),2)));
}
}
Collections.sort(distances);
k = k < distances.size() ? k : distances.size();

double knnDistance = 0.0;
for (int i = 0; i < k; ++i) {
knnDistance += distances.get(i);
}
return knnDistance;
}

private static class Position{
int x;
int y;

public int getX() {
return x;
}

public void setX(int x) {
this.x = x;
}

public int getY() {
return y;
}

public void setY(int y) {
this.y = y;
}
}

}
三、基於密度
低密度區域的數據點可以當做某種程度上的離群點。基於密度的和基於近鄰的是密切相關的，簡單來說，密度和近鄰的距離成反比。一般的度量公式如下：
density(x,k)表示包含x的k近鄰的密度，distance(x,y)表示x到y的距離，N(x,k)表示x的k近鄰集合。
優點：
相對准確
缺點：
需要度量密度，需要設定閾值

四、基於聚類
丟棄遠離其他聚類簇的小聚類簇。需要給出小聚類簇的大小閾值、聚類簇距離閾值。常用的聚類方法比較多，比如K-means(變種K-models)、EM、層次聚類演算法（分裂型和歸約型）。具體方法說明可見：漫話數據挖掘。
優點：
引入數據挖掘聚類的方法，在樣本充足的情況下准確度會相對較高
缺點：
需要訓練，計算量大，原理相對復雜
需要建立適當的模型，需要充足的訓練樣本
總之異常檢測的通用方法大致有4種：基於模型、k近鄰、基於密度和基於聚類的。實際使用數據是線上的報價，由於每個SPU下報價有限，聚類不適合，所以用基於模型的和k近鄰的做了試驗；基於密度的和K近鄰差不多，而且需要密度范圍的距離閾值，就沒有選擇。此外，涉及的實驗數據是公司的，代碼是興趣使然，所以就不公布具體實驗數據。

Ⅲ spss 如何做異常點的檢驗

異常點。即：異常值
Spss中異常值檢查方法如下：
檢查異常值方法1：
最常用的方法就是對變數進行排序，這也是最簡單的方法。排序後對照最大值和最小值、全距等統計量可以看出數據的離群狀況。

檢查異常值方法2：
散點圖的優勢就在於直觀的呈現兩兩變數間的關系，尤其在兩變數間的線性關聯比較強的時候，如果有離群值，圖形偵察的結果會很明顯，不過（也包括矩陣散點等圖形）其局限在於，其本質還是變數間的兩兩間的關系，更多的多維信息的提供還是需要經驗去判斷。

檢查異常值方法3：
箱體圖為我們提供了數據百分位數的概念，例如四分位數（25%和75%）是將該變數分成約4個部分，分別提供了數據不同分位點附件的離散性，而且同時提供描述數據集中性的中位數，這樣在中間50%的數據上提供的信息將是異常豐富的。

檢查異常值方法4：
在主要統計建模過程中大多會提供異常值或極端值的診斷，例如距離的測算：cook距離、杠桿值等；影響統計量：DfBeta、協方差比率等。它們均有相應的經驗上的判斷標准，如果有些指標沒有相應的判斷異常值的標准，則可以通過排序的方式，找到其相對大小。

檢查異常值方法5：
標識異常個案，這里提供的是統計建模的方式偵查異常個案（注意它的結果有可能和我們其他方式偵查的結果有出處），這種方法主要通過兩步聚類的思想，找到不同個案間的相似性，通過對所在類別的評價計算出異常索引，然後找到對應的ID號，則該個案可能為異常值，至於對這些異常個案怎麼處理，分析人員作出何種決定，這個最好結合專業背景綜合判斷後續的處理方法。

檢查異常值方法6：
如果涉及的是時序數據，控制圖是不錯的選擇，在控制規則里提供了異常豐富的偵查異常個案的選項。
當然其他過程里也有一些細節的處理，例如，排列圖、誤差條形圖、可視離散化、缺失值診斷、數據驗證過程等。

Ⅳ 三監管不合理檢查異常值

三監管不合理檢查異常值

三監管不合理檢查異常值的方法包括：

1. 離群點檢測：離群點檢測是檢測數據中的異常值的一種常用方法，它可以幫助發現數據中的離群值，如果數據點落在一個明顯的離群點，則可以認為它是一個異常值。

2. 盒須圖檢測：盒須圖是一種用於檢測孫喚喊異常值的常用方法，它可以幫助發現數據中的離群值，如果數據點落在外部置信區間之外，則可以認為它是一個異常值。

3. 統計檢測：統計檢測是檢測數據中的異常值的一種常用方法，它可以幫助發現數據中的離群值，如果數據點的統計值顯著偏離正常分布，則可以認為它是一個異常值。

4. 基於模型的檢測：基於模鏈核型的檢測是檢測數據中的異常值的一種常用方法，它可以幫助發現數據中的離群值，如果數據點的模型預測值顯著偏離實際值，則可以認為它是一個則野異常值。

Ⅳ 異常檢查的方法

雖然檢查用不同化探方法所發現的異常，其要求和內容不盡相同，但所用的方法主要是現場踏勘和重新采樣。

1.現場踏勘

就是在異常范圍內及其附近的地區，對各種地質現象和自然地理條件進行詳細調查研究，查明其對異常的控製作用，收集一切可供參考的找礦標志，了解當地的礦產情況等。

2.重新采樣

為了證實異常是否存在，在異常范圍內布置 1 ～ 2 條測線重新采樣。測線要長一些，至少要重復原來的 5 ～6 個采樣點，但也不能採集過多的樣品。為了取得異常特徵的更詳細更完整的資料，應在異常范圍內加密測線和采樣點重新採集樣品。為了追蹤異常源，可改變采樣對象或采樣部位重新采樣。例如: 採取土壤樣品來追蹤水系沉積物中異常物質的來源; 採取基岩、泉水或滲濕土樣品來追蹤土壤中異常物質的來源等。又如: 當土層厚度在 0.5m 以上，地形又比較平坦時，可布置適當的剖面，利用淺井或取樣鑽，沿鉛垂方向採取樣品(每隔 10 ～20cm 採集一個樣品)直至基岩。再利用分析結果編繪剖面的等含量線圖，就可根據指示元素含量在剖面上的變化情況，判定基岩源的位置(圖 7 11)，分辨由污染或其他表生富集作用而形成的非礦致異常(圖 7 12)。

圖7-11 銅等含量線圖(顯示出基岩源的位置)

圖7-12 銅等含量線圖(顯示異常與基岩無關)

現以水系沉積物測量異常檢查為例，介紹異常檢查的具體方法和過程。攜帶現場分析設備(如冷提取分析箱)沿著異常水系邊重復采樣邊分析樣品，以確定異常是否存在，並隨時考查各種非礦成因(如污染、次生富集等)的可能幹擾。當追蹤到異常截止位置後，再轉向兩岸和谷坡進行地質觀察，同時布置測線，採集土壤樣品(或岩石樣品)，以便尋找異常源的位置。

除上述兩種異常檢查方法外，還可以選用適當的物探方法，或動用少量的地表坑探工程直接揭露異常源。

Ⅵ 如何判別測量數據中是否有異常值

在回彈法檢測砼強度中，按批抽樣檢測的測區數量往往很多，這就不可避免出現較多的檢測異常值，怎樣判斷和處理這些異常值，對於提高檢測結果的准確性意義重大。格拉布斯檢驗法是土木工程中常用的一種檢驗異常值的方法，其應用於回彈法檢測砼強度，能有效提高按批抽樣檢測結果的准確性。

Ⅶ 對於異常值的檢測

離群點，是一個數據對象，它顯著不同於其他數據對象，與其他數據分布有較為顯著的不同。有時也稱非離群點為「正常數據」，離群點為「異常數據」。

離群點跟雜訊數據不一樣，雜訊是被觀測變數的隨機誤差或方差。一般而言，雜訊在數據分析（包括離群點分析）中不是令人感興趣的，需要在數據預處理中剔除的，減少對後續模型預估的影響，增加精度。

離群點檢測是有意義的，因為懷疑產生它們的分布不同於產生其他數據的分布。因此，在離群點檢測時，重要的是搞清楚是哪種外力產生的離群點。

常見的異常成因:

通常，在其餘數據上做各種假設，並且證明檢測到的離群點顯著違反了這些假設。如統計學中的假設檢驗，基於小概率原理，對原假設進行判斷。一般檢測離群點，是人工進行篩選，剔除不可信的數據，例如對於房屋數據，面積上萬，卧室數量過百等情況。而在面對大量的數據時，人工方法耗時耗力，因此，才有如下的方法進行離群點檢測。

統計學方法是基於模型的方法，即為數據創建一個模型，並且根據對象擬合模型的情況來評估它們。大部分用於離群點檢測的統計學方法都是構建一個概率分布模型，並考慮對象有多大可能符合該模型。

離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。

a. 參數法：

當數據服從正太分布的假設時在正態分布的假定下，u±3σ區域包含99.7%的數據，u±2σ包含95.4%的數據，u±1σ包含68.3%的數據。其區域外的數據視為離群點。

當數據是非正態分布時，可以使用切比雪夫不等式，它對任何分布形狀的數據都適用。根據 切比雪夫不等式 ，至少有(1-1/k 2 )的數據落在±k個標准差之內。所以，有以下結論：

計算得到：通過繪制箱線圖可以直觀地找到離群點，或者通過計算四分位數極差（IQR）定義為Q3-Q1。比Q1小1.5倍的IQR或者比Q3大1.5倍的IQR的任何對象都視為離群點，因為Q1-1.5IQR和Q3+1.5IQR之間的區域包含了99.3%的對象。

涉及兩個或多個橡信屬性或變數的數據稱為多元數據。核心思想是把多元離群點檢測任務轉換成一元離群點檢測問題。

- 卡方統計量的多元離群點檢測 ：正態分布的假定下，卡方統計量也可以用來捕獲多元離群點，對象 ，卡方統計量是： ， 是 在第i維上的值， 是所有對象在第i維上的均值，而n是維度。如果對象的卡方統計量很大，則該對象是離群點。

b. 非參數法：

構造直方圖
為了構造一個好的直方圖，用戶必須指定直方圖的類型和其他參數（箱數、等寬or等深）。最簡單的方法是，如果該對象落入直方圖的一個箱中，則該對象被看做正常的，否則被認為是離群點。也可以使用直方圖賦予每個對象一個離群點得分，比如對象的離群點得分為該對象落入的箱的容積的倒數。但這個方法敬洞很難選擇一個較好的直方圖參數。

注意 ：
傳統的觀點都認為孤立點是一個單獨的點,然而很多的現實情況是異常事件具有一定的時間和空間的局部性,這種局部性會產生一個小的簇.這時候離群點（孤立點）實際上是一個小簇（圖下圖的C1和C3）。

一個對象是異常的，如果它遠離大部分點。這種方法比統計學方法更一般、更容易使用，因為確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。不依賴統計檢驗，將基於鄰近度的離群點看作是那些沒有「足夠多「鄰居的對象。這里的鄰居是用 鄰近度（距離） 來定義的。最常用的距離是絕對距離（曼哈頓）和歐氏距離等等。

一個對象的離群點得分由到它的k-最近鄰的距離給定。離群點得分對k的取值高度敏感。如果k太小，則少量的鄰近離群點可能導致離群點較少；如果K太大，則點數少於k的簇中所有的對象可能都成了離群點，導致離群點過多。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

從基於密度梁稿輪的觀點來說，離群點是在低密度區域中的對象。一個對象的離群點得分是該對象周圍密度的逆。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。

定義密度
一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數 。如果該距離小，則密度高，反之亦然。

另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。 需要小心的選擇d，如果d太小，則許多正常點可能具有低密度，從而離群點較多。如果d太大，則許多離群點可能具有與正常點類似的密度（和離群點得分）無法區分。 使用任何密度定義檢測離群點具有與基於鄰近度的離群點方案類似的特點和局限性。特殊地，當數據包含不同密度的區域時，它們不能正確的識別離群點。

定義相對密度
為了正確的識別這種數據集中的離群點，我們需要與對象鄰域相關的密度概念，也就是定義相對密度。常見的有兩種方法：
（1）使用基於SNN密度的聚類演算法使用的方法；
（2）用點x的密度與它的最近鄰y的平均密度之比作為相對密度。使用相對密度的離群點檢測（ 局部離群點要素LOF技術 ）:

一種利用聚類檢測離群點的方法是丟棄遠離其他簇的小簇。這個方法可以和其他任何聚類技術一起使用，但是需要最小簇大小和小簇與其他簇之間距離的閾值。這種方案對簇個數的選擇高度敏感。使用這個方案很難將離群點得分附加到對象上。

一種更系統的方法，首先聚類所有的點，對某個待測點評估它屬於某一簇的程度。（基於原型的聚類可用離中心點的距離來評估，對具有目標函數（例如kmeans法時的簇的誤差平方和）的聚類技術，該得分反映刪除對象後目標函數的改進），如果刪去此點能顯著地改善此項目標函數，則可以將該點定位為孤立點。

基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇。離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。為了處理該問題，可以使用如下方法：

對象是否被認為是離群點可能依賴於簇的個數（如k很大時的雜訊簇）。該問題也沒有簡單的答案。一種策略是對於不同的簇個數重復該分析。另一種方法是找出大量小簇，其想法是（1）較小的簇傾向於更加凝聚，（2）如果存在大量小簇時一個對象是離群點，則它多半是一個真正的離群點。不利的一面是一組離群點可能形成小簇而逃避檢測。

根據已有訓練集檢測新樣本是否異常

異常檢測根據原始數據集的不同可分為兩類：
novelty detection: 訓練集中沒有異常樣本
outlier detection: 訓練集中有異常樣本

異常樣本：
數量少，比較分散

novelty detection和outlier detection的區別：

Sklearn異常檢測模型一覽

5.1 奇異點檢測（Novelty Detection）
奇異點檢測，就是判斷待測樣本到底是不是在原來數據的概率分布內。概率學上認為，所有的數據都有它的隱藏的分布模式，這種分布模式可以由概率模型來具象化。

5.1 離群點檢測（Outlier Detection）
不同與奇異點檢測是，現在我們沒有一個干凈的訓練集（訓練集中也有雜訊樣本）。下面介紹的三種離群點檢測演算法其實也都可以用於奇異點檢測。

如果我們認為，可達密度小的目標樣本點就是異常點，這樣未嘗不可。但是，LOF演算法更進一步。

LOF可以用來判斷經緯度的異常。

使用python進行異常值(outlier)檢測實戰:KMeans + PCA + IsolationForest + SVM + EllipticEnvelope

文章引用： 數據挖掘：數據清洗——異常值處理

Ⅷ 大數據科學家需要掌握的幾種異常值檢測方法

引言

異常值檢測與告警一直是工業界非常關注的問題，自動准確地檢測出系統的異常值，不僅可以節約大量的人力物力，還能盡早發現系統的異常情況，挽回不必要的損失。個推也非常重視大數據中的異常值檢測，例如在運維部門的流量管理業務中，個推很早便展開了對異常值檢測的實踐，也因此積累了較為豐富的經驗。本文將從以下幾個方面介紹異常值檢測。

1、異常值檢測研究背景

2、異常值檢測方法原理

3、異常值檢測應用實踐

異常值檢測研究背景

異常值，故名思議就是不同於正常值的值。 在數學上，可以用離群點來表述，這樣便可以將異常值檢測問題轉化為數學問題來求解。

異常值檢測在很多場景都有廣泛的應用，比如：

1、流量監測

互聯網上某些伺服器的訪問量，可能具有周期性或趨勢性：一般情況下都是相對平穩的，但是當受到某些黑客攻擊後，其訪問量可能發生顯著的變化，及早發現這些異常變化對企業而言有著很好的預防告警作用。

2、金融風控

正常賬戶中，用戶的轉賬行為一般屬於低頻事件，但在某些金融詐騙案中，一些嫌犯的賬戶就可能會出現高頻的轉賬行為，異常檢測系統如果能發現這些異常行為，及時採取相關措施，則會規避不少損失。

3、機器故障檢測

一個運行中的流水線，可能會裝有不同的感測器用來監測運行中的機器，這些感測器數據就反應了機器運行的狀態，這些實時的監測數據具有數據量大、維度廣的特點，用人工盯著看的話成本會非常高，高效的自動異常檢測演算法將能很好地解決這一問題。

異常值檢測方法原理

本文主要將異常值檢測方法分為兩大類：一類是基於統計的異常值檢測，另一類是基於模型的異常值檢測。

基於統計的方法  

基於模型的方法

1、基於統計的異常值檢測方法

常見的基於統計的異常值檢測方法有以下2種，一種是基於3σ法則，一種是基於箱體圖。

3σ法則  

箱體圖

3σ法則是指在樣本服從正態分布時，一般可認為小於μ-3σ或者大於μ+3σ的樣本值為異常樣本，其中μ為樣本均值，σ為樣本標准差。在實際使用中，我們雖然不知道樣本的真實分布，但只要真實分布與正太分布相差不是太大，該經驗法則在大部分情況下便是適用的。

箱體圖也是一種比較常見的異常值檢測方法，一般取所有樣本的25%分位點Q1和75%分位點Q3，兩者之間的距離為箱體的長度IQR，可認為小於Q1-1.5IQR或者大於Q3+1.5IQR的樣本值為異常樣本。

基於統計的異常檢測往往具有計算簡單、有堅實的統計學基礎等特點，但缺點也非常明顯，例如需要大量的樣本數據進行統計，難以對高維樣本數據進行異常值檢測等。

2、基於模型的異常值檢測

通常可將異常值檢測看作是一個二分類問題，即將所有樣本分為正常樣本和異常樣本，但這和常規的二分類問題又有所區別，常規的二分類一般要求正負樣本是均衡的，如果正負樣本不均勻的話，訓練結果往往會不太好。但在異常值檢測問題中，往往面臨著正（正常值）負（異常值）樣本不均勻的問題，異常值通常比正常值要少得多，因此需要對常規的二分類模型做一些改進。

基於模型的異常值檢測一般可分為有監督模型異常值檢測和無監督模型異常值檢測，比較典型的有監督模型如oneclassSVM、基於神經網路的自編碼器等。 oneclassSVM就是在經典的SVM基礎上改進而來，它用一個超球面替代了超平面，超球面以內的值為正常值，超球面以外的值為異常值。

經典的SVM  

1

 基於模型的方法

2

基於神經網路的自編碼器結構如下圖所示。

自編碼器（AE）

將正常樣本用於模型訓練，輸入與輸出之間的損失函數可採用常見的均方誤差，因此檢測過程中，當正常樣本輸入時，均方誤差會較小，當異常樣本輸入時，均方誤差會較大，設置合適的閾值便可將異常樣本檢測出來。但該方法也有缺點，就是對於訓練樣本比較相近的正常樣本判別較好，但若正常樣本與訓練樣本相差較大，則可能會導致模型誤判。

無監督模型的異常值檢測是異常值檢測中的主流方法，因為異常值的標注成本往往較高，另外異常值的產生往往無法預料，因此有些異常值可能在過去的樣本中根本沒有出現過， 這將導致某些異常樣本無法標注，這也是有監督模型的局限性所在。 較為常見的無監督異常值檢測模型有密度聚類（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一種典型的無監督聚類方法，對某些類型的異常值檢測也能起到不錯的效果。該演算法原理網上資料較多，本文不作詳細介紹。

IF演算法最早由南京大學人工智慧學院院長周志華的團隊提出，是一種非常高效的異常值檢測方法，該方法不需要對樣本數據做任何先驗的假設，只需基於這樣一個事實——異常值只是少數，並且它們具有與正常值非常不同的屬性值。與隨機森林由大量決策樹組成一樣，IsolationForest也由大量的樹組成。IsolationForest中的樹叫isolation tree，簡稱iTree。iTree樹和決策樹不太一樣，其構建過程也比決策樹簡單，因為其中就是一個完全隨機的過程。

假設數據集有N條數據，構建一顆iTree時，從N條數據中均勻抽樣(一般是無放回抽樣)出n個樣本出來，作為這顆樹的訓練樣本。

在樣本中，隨機選一個特徵，並在這個特徵的所有值范圍內（最小值與最大值之間）隨機選一個值，對樣本進行二叉劃分，將樣本中小於該值的劃分到節點的左邊，大於等於該值的劃分到節點的右邊。

這樣得到了一個分裂條件和左、右兩邊的數據集，然後分別在左右兩邊的數據集上重復上面的過程，直至達到終止條件。 終止條件有兩個，一個是數據本身不可再分(只包括一個樣本，或者全部樣本相同)，另外一個是樹的高度達到log2(n)。 不同於決策樹，iTree在演算法裡面已經限制了樹的高度。不限制雖然也可行，但出於效率考慮，演算法一般要求高度達到log2(n)深度即可。

把所有的iTree樹構建好了，就可以對測試數據進行預測了。預測的過程就是把測試數據在iTree樹上沿對應的條件分支往下走，直到達到葉子節點，並記錄這過程中經過的路徑長度h(x)，即從根節點，穿過中間的節點，最後到達葉子節點，所走過的邊的數量(path length)。最後，將h(x)帶入公式，其中E(.)表示計算期望，c(n)表示當樣本數量為n時，路徑長度的平均值，從而便可計算出每條待測數據的異常分數s(Anomaly Score)。異常分數s具有如下性質：

1）如果分數s越接近1，則該樣本是異常值的可能性越高；

2）如果分數s越接近0，則該樣本是正常值的可能性越高；

RCF演算法與IF演算法思想上是比較類似的，前者可以看成是在IF演算法上做了一些改進。針對IF演算法中沒有考慮到的時間序列因素，RCF演算法考慮了該因素，並且在數據樣本采樣策略上作出了一些改進，使得異常值檢測相對IF演算法變得更加准確和高效，並能更好地應用於流式數據檢測。

IF演算法

RCF演算法

上圖展示了IF演算法和RCF演算法對於異常值檢測的異同。我們可以看出原始數據中有兩個突變異常數據值，對於後一個較大的突變異常值，IF演算法和RCF演算法都檢測了出來，但對於前一個較小的突變異常值，IF演算法沒有檢測出來，而RCF演算法依然檢測了出來，這意味著RCF有更好的異常值檢測性能。

異常值檢測應用實踐

理論還需結合實踐，下面我們將以某應用從2016.08.16至2019.09.21的日活變化情況為例，對異常值檢測的實際應用場景予以介紹：

從上圖中可以看出該應用的日活存在著一些顯著的異常值（比如紅色圓圈部分），這些異常值可能由於活動促銷或者更新迭代出現bug導致日活出現了比較明顯的波動。下面分別用基於統計的方法和基於模型的方法對該日活序列數據進行異常值檢測。

基於3σ法則（基於統計）

RCF演算法（基於模型）

從圖中可以看出，對於較大的突變異常值，3σ法則和RCF演算法都能較好地檢測出來， 但對於較小的突變異常值，RCF演算法則要表現得更好。

總結

上文為大家講解了異常值檢測的方法原理以及應用實踐。綜合來看，異常值檢測演算法多種多樣 ，每一種都有自己的優缺點和適用范圍，很難直接判斷哪一種異常檢測演算法是最佳的， 具體在實戰中，我們需要根據自身業務的特點，比如對計算量的要求、對異常值的容忍度等，選擇合適的異常值檢測演算法。

接下來，個推也會結合自身實踐，在大數據異常檢測方面不斷深耕，繼續優化演算法模型在不同業務場景中的性能，持續為開發者們分享前沿的理念與最新的實踐方案。

Ⅸ 異常點檢測方法

一、基本概念

異常對象被稱作離群點。異常檢測也稱偏差檢測和例外挖掘。

常見的異常成因：數據來源於不同的類（異常對象來自於一個與大多數數據對象源（類）不同的源（類）的思想），自然變異，以及數據測量或收集誤差。

異常檢測的方法：

（1）基於模型的技術：首先建立一個數據模型，異常是那些同模型不能完美擬合的對象；如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；在使用回歸模型時，異常是相對遠離預測值的對象。

（2）基於鄰近度的技術：通常可以在對象之間定義鄰近性度量，異常對象是那些遠離其他對象的對象。

（3）基於密度的技術：僅當一個點的局部密度顯著低於它的大部分近鄰時才將其分類為離群點。

二、異常點檢測的方法

1、統計方法檢測離群點

統計學方法是基於模型的方法，即為數據創建一個模型，並且根據對象擬合模型的情況來評估它們。大部分用於離群點檢測的統計學方法都是構建一個概率分布模型，並考慮對象有多大可能符合該模型。離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。異常檢測的混合模型方法：對於異常檢測，數據用兩個分布的混合模型建模，一個分布為普通數據，而另一個為離群點。

聚類和異常檢測目標都是估計分布的參數，以最大化數據的總似然（概率）。聚類時，使用EM演算法估計每個概率分布的參數。然而，這里提供的異常檢測技術使用一種更簡單的方法。初始時將所有對象放入普通對象集，而異常對象集為空。然後，用一個迭代過程將對象從普通集轉移到異常集，只要該轉移能提高數據的總似然（其實等價於把在正常對象的分布下具有低概率的對象分類為離群點）。（假設異常對象屬於均勻分布）。異常對象由這樣一些對象組成，這些對象在均勻分布下比在正常分布下具有顯著較高的概率。

優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。

2、基於鄰近度的離群點檢測。

一個對象是異常的，如果它遠離大部分點。這種方法比統計學方法更一般、更容易使用，因為確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。一個對象的離群點得分由到它的k-最近鄰的距離給定。離群點得分對k的取值高度敏感。如果k太小（例如1），則少量的鄰近離群點可能導致較低的離群點得分；如果k太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m^2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。

3、基於密度的離群點檢測。

從基於密度的觀點來說，離群點是在低密度區域中的對象。一個對象的離群點得分是該對象周圍密度的逆。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。需要小心的選擇d，如果d太小，則許多正常點可能具有低密度，從而具有高離群點得分。如果d太大，則許多離群點可能具有與正常點類似的密度（和離群點得分）。使用任何密度定義檢測離群點具有與基於鄰近度的離群點方案類似的特點和局限性。特殊地，當數據包含不同密度的區域時，它們不能正確的識別離群點。

為了正確的識別這種數據集中的離群點，我們需要與對象鄰域相關的密度概念，也就是定義相對密度。常見的有兩種方法：（1）使用基於SNN密度的聚類演算法使用的方法；（2）用點x的密度與它的最近鄰y的平均密度之比作為相對密度。

使用相對密度的離群點檢測（局部離群點要素LOF技術）：首先，對於指定的近鄰個數（k），基於對象的最近鄰計算對象的密度density(x,k) ，由此計算每個對象的離群點得分；然後，計算點的鄰近平均密度，並使用它們計算點的平均相對密度。這個量指示x是否在比它的近鄰更稠密或更稀疏的鄰域內，並取作x的離群點得分（這個是建立在上面的離群點得分基礎上的）。

優缺點：

（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；

（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；

（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。

4、基於聚類的技術

一種利用聚類檢測離群點的方法是丟棄遠離其他簇的小簇。這個方法可以和其他任何聚類技術一起使用，但是需要最小簇大小和小簇與其他簇之間距離的閾值。這種方案對簇個數的選擇高度敏感。使用這個方案很難將離群點得分附加到對象上。一種更系統的方法，首先聚類所有對象，然後評估對象屬於簇的程度（離群點得分）（基於原型的聚類可用離中心點的距離來評估，對具有目標函數的聚類技術該得分反映刪除對象後目標函數的改進（這個可能是計算密集的））。基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇。離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。還有一種更復雜的方法：取一組不能很好的擬合任何簇的特殊對象，這組對象代表潛在的離群點。隨著聚類過程的進展，簇在變化。不再強屬於任何簇的對象被添加到潛在的離群點集合；而當前在該集合中的對象被測試，如果它現在強屬於一個簇，就可以將它從潛在的離群點集合中移除。聚類過程結束時還留在該集合中的點被分類為離群點（這種方法也不能保證產生最優解，甚至不比前面的簡單演算法好，在使用相對距離計算離群點得分時，這個問題特別嚴重）。

對象是否被認為是離群點可能依賴於簇的個數（如k很大時的雜訊簇）。該問題也沒有簡單的答案。一種策略是對於不同的簇個數重復該分析。另一種方法是找出大量小簇，其想法是（1）較小的簇傾向於更加凝聚，（2）如果存在大量小簇時一個對象是離群點，則它多半是一個真正的離群點。不利的一面是一組離群點可能形成小簇而逃避檢測。

優缺點：

（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；

（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；

（3） 產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；

（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。

新穎性和離群值檢測

離群值檢測：訓練數據包含離群值，即與其他觀測值相距甚遠的觀測值。離群檢測估計器會嘗試擬合訓練數據最集中的區域，忽略異常觀察。

新穎性檢測：訓練數據不受異常值的污染，有興趣檢測新觀察值是否是異常值。該情況下離群值也稱為新穎性。

離群值檢測和新穎性檢測均用於異常檢測，離群值檢測稱為無監督異常檢測，新穎性檢測稱為半監督異常檢測。離群值檢測的情況下，離群值/異常不能形成密集的群集，可假設離群值/異常位於低密度區域；新穎性檢測的情況下，只要新穎性/異常位於訓練數據的低密度區域，就可以形成密集的簇。

通過對玩具數據集進行異常檢測比較異常檢測演算法

數據集中包含一種或兩種模式（高密度區域），以說明演算法處理多模式數據的能力。

對於每個數據集，將生成15%的樣本作為隨機均勻雜訊。該比例是OneClassSVM的nu參數和其他異常值檢測演算法的污染參數提供的值。離群值之間的決策邊界以黑色顯示，但是LOF除外，因為當採用LOF用於離群值檢測時，沒有適用於新數據的預測方法。

OneClassSVM對異常值敏感，對異常值檢測執行的不好。當訓練集不受異常值污染時，此估計器最適合新穎性檢測。即不適用在高維中進行離群值檢測或者不對基礎數據的分布進行任何假設，OneClassSVM在這些情況下可能會根據其超參數給出有用的結果。

covariance EllipticEnvelope（協方差橢圓密度）假定數據是高斯分布並學習一個橢圓。在數據不是單峰時，會退化。此估計器對異常值具有魯棒性。

IsolationFrorest和LocalOutlierFactor針對多模式數據集效果顯著。LOF針對第三種數據集，明顯優於其它三種估計器，該數據集中兩種模式的密度不同。LOF的局部方面，即它僅將一個樣本的異常評分與其鄰居評分作比較，從何體現了該方法的優勢。

針對最後一個均勻分布在超立方體中的數據集，很難說一個樣本比另一個樣本異常得多。除了OneClassSVM有些過擬合外，所有估計器都針對該情況提出不錯的解決方案。針對這種情況，應該仔細觀察樣本的異常分數，性能好的估算器應該為所有樣本分配相似的分數。

使用局部離群因子（LOF）進行離群值檢測

LOF演算法是一種無監督的異常檢測方法，可計算給定數據點相對於其鄰居的局部密度偏差。其中密度遠低於其鄰居的樣本為異常值。

LOF演算法的優勢在於同時考慮了數據集的局部和全局屬性：即使在異常樣本具有不同底層密度的數據集中，仍能保持良好性能。問題不在於樣本有多孤立，而在於樣本相對於周圍鄰域有多孤立。

通常考慮的鄰居數量（1）大於群集必須包含的最小樣本數量，以便其他樣本可以是相對於該群集的局部離散值；（2）小於可能是局部異常值的最大進距采樣數，此類消息通常不可用，採用n_neighbors=20。

具有局部異常值的新穎性檢驗

LOF是一種無監督的異常檢測方法，可計算給定數據點相對於其鄰居的局部密度偏差，密度遠低於其鄰居的樣本為異常值。LOF用於新穎性檢驗時，切勿在訓練集上使用預測、決定函數、實例得分，會導致結果錯誤。只能對新的看不見的數據（不在訓練集中）使用這些方法。

通常考慮鄰居數量（1）大於群集必須包含的最小樣本數，以便其他樣本可以是相對於該群集的局部離群值；（2）小於可能是局部異常值的最大進距采樣數，此類消息通常不可用，採用n_neighbors=20。

隔離林

在高維數據集中執行異常檢測的一種有效方法是使用隨機森林，分離的觀察通過隨機選擇一個函數，隨機選擇所選擇的特徵的最大值和最小值之間的分割值。遞歸分區可用樹結構表示，隔離樣本所需的拆分數量等於從根節點到終止結點的路徑長度。隨機樹的森林中的平均路徑長度是對正態性和決策函數的度量。隨機分區產生的異常路徑明顯較短，因此如果隨機樹森林為特定樣本生成的較短路徑，則該樹代表的值很可能是異常的。

OneClassSVM

無監督的離群值檢測，支持高維分布，基於libsvm

不假定數據分布的任何參數形式，可以更好的對數據的復雜形狀進行建模，能夠捕獲真實的數據結構，難點在於調整核函數寬度參數，以便在數據散布矩陣的形狀和數據過度擬合的風險間取得折中。

協方差橢圓密度

用於檢測高斯分布數據集中的異常值的對象

經驗協方差估計（作為非穩健估計）受到觀測值異質結構的高度影響；魯棒協方差估計能夠集中於數據分布的主要模式，但是它堅持假設數據是高斯分布，產生了對數據結構的某些估計，在一定程度上是准確的。

HBOS單維效果極佳，但是標准差方法的mask 掩碼效應嚴重。例如 數據通常在100以內，但是有兩個異常點，500，1000000。這個演算法就不能檢出500這個異常點。

對比而言，孤立森林理論上更適合大數據的異常檢測，且無掩碼效應。孤立森林確定異常時訓練只用樣本數據。每顆樹樣本數量默認只有256個，默認只用100顆樹。所以理論上25600個樣本就能確定海量數據中的異常點了。

Sklearn的 isolation forest 例子默認是讀入全量數據再采樣。如果配上warm up 選項就能分批放入采樣。

異常檢測的深度學習研究綜述