正確性分析；有效性分析；有用性分析；高效性分析
⑵ 異常點檢測方法
一、基本概念
異常對象被稱作離群點。異常檢測也稱偏差檢測和例外挖掘。
常見的異常成因：數據來源於不同的類（異常對象來自於一個與大多數數據對象源（類）不同的源（類）的思想），自然變異，以及數據測量或收集誤差。
異常檢測的方法：
（1）基於模型的技術：首先建立一個數據模型，異常是那些同模型不能完美擬合的對象；如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；在使用回歸模型時，異常是相對遠離預測值的對象。
（2）基於鄰近度的技術：通常可以在對象之間定義鄰近性度量，異常對象是那些遠離其他對象的對象。
（3）基於密度的技術：僅當一個點的局部密度顯著低於它的大部分近鄰時才將其分類為離群點。
二、異常點檢測的方法
1、統計方法檢測離群點
統計學方法是基於模型的方法，即為數據創建一個模型，並且根據對象擬合模型的情況來評估它們。大部分用於離群點檢測的統計學方法都是構建一個概率分布模型，並考慮對象有多大可能符合該模型。離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。異常檢測的混合模型方法：對於異常檢測，數據用兩個分布的混合模型建模，一個分布為普通數據，而另一個為離群點。
聚類和異常檢測目標都是估計分布的參數，以最大化數據的總似然（概率）。聚類時，使用EM演算法估計每個概率分布的參數。然而，這里提供的異常檢測技術使用一種更簡單的方法。初始時將所有對象放入普通對象集，而異常對象集為空。然後，用一個迭代過程將對象從普通集轉移到異常集，只要該轉移能提高數據的總似然（其實等價於把在正常對象的分布下具有低概率的對象分類為離群點）。（假設異常對象屬於均勻分布）。異常對象由這樣一些對象組成，這些對象在均勻分布下比在正常分布下具有顯著較高的概率。
優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。
2、基於鄰近度的離群點檢測。
一個對象是異常的，如果它遠離大部分點。這種方法比統計學方法更一般、更容易使用，因為確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。一個對象的離群點得分由到它的k-最近鄰的距離給定。離群點得分對k的取值高度敏感。如果k太小（例如1），則少量的鄰近離群點可能導致較低的離群點得分；如果k太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。
優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m^2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。
3、基於密度的離群點檢測。
從基於密度的觀點來說，離群點是在低密度區域中的對象。一個對象的離群點得分是該對象周圍密度的逆。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。需要小心的選擇d，如果d太小，則許多正常點可能具有低密度，從而具有高離群點得分。如果d太大，則許多離群點可能具有與正常點類似的密度（和離群點得分）。使用任何密度定義檢測離群點具有與基於鄰近度的離群點方案類似的特點和局限性。特殊地，當數據包含不同密度的區域時，它們不能正確的識別離群點。
為了正確的識別這種數據集中的離群點，我們需要與對象鄰域相關的密度概念，也就是定義相對密度。常見的有兩種方法：（1）使用基於SNN密度的聚類演算法使用的方法；（2）用點x的密度與它的最近鄰y的平均密度之比作為相對密度。
使用相對密度的離群點檢測（局部離群點要素LOF技術）：首先，對於指定的近鄰個數（k），基於對象的最近鄰計算對象的密度density(x,k) ，由此計算每個對象的離群點得分；然後，計算點的鄰近平均密度，並使用它們計算點的平均相對密度。這個量指示x是否在比它的近鄰更稠密或更稀疏的鄰域內，並取作x的離群點得分（這個是建立在上面的離群點得分基礎上的）。
優缺點：
（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；
（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；
（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。
4、基於聚類的技術
一種利用聚類檢測離群點的方法是丟棄遠離其他簇的小簇。這個方法可以和其他任何聚類技術一起使用，但是需要最小簇大小和小簇與其他簇之間距離的閾值。這種方案對簇個數的選擇高度敏感。使用這個方案很難將離群點得分附加到對象上。一種更系統的方法，首先聚類所有對象，然後評估對象屬於簇的程度（離群點得分）（基於原型的聚類可用離中心點的距離來評估，對具有目標函數的聚類技術該得分反映刪除對象後目標函數的改進（這個可能是計算密集的））。基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇。離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。還有一種更復雜的方法：取一組不能很好的擬合任何簇的特殊對象，這組對象代表潛在的離群點。隨著聚類過程的進展，簇在變化。不再強屬於任何簇的對象被添加到潛在的離群點集合；而當前在該集合中的對象被測試，如果它現在強屬於一個簇，就可以將它從潛在的離群點集合中移除。聚類過程結束時還留在該集合中的點被分類為離群點（這種方法也不能保證產生最優解，甚至不比前面的簡單演算法好，在使用相對距離計算離群點得分時，這個問題特別嚴重）。
對象是否被認為是離群點可能依賴於簇的個數（如k很大時的雜訊簇）。該問題也沒有簡單的答案。一種策略是對於不同的簇個數重復該分析。另一種方法是找出大量小簇，其想法是（1）較小的簇傾向於更加凝聚，（2）如果存在大量小簇時一個對象是離群點，則它多半是一個真正的離群點。不利的一面是一組離群點可能形成小簇而逃避檢測。
優缺點：
（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；
（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；
（3） 產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；
（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。
新穎性和離群值檢測
離群值檢測：訓練數據包含離群值，即與其他觀測值相距甚遠的觀測值。離群檢測估計器會嘗試擬合訓練數據最集中的區域，忽略異常觀察。
新穎性檢測：訓練數據不受異常值的污染，有興趣檢測新觀察值是否是異常值。該情況下離群值也稱為新穎性。
離群值檢測和新穎性檢測均用於異常檢測，離群值檢測稱為無監督異常檢測，新穎性檢測稱為半監督異常檢測。離群值檢測的情況下，離群值/異常不能形成密集的群集，可假設離群值/異常位於低密度區域；新穎性檢測的情況下，只要新穎性/異常位於訓練數據的低密度區域，就可以形成密集的簇。
通過對玩具數據集進行異常檢測比較異常檢測演算法
數據集中包含一種或兩種模式（高密度區域），以說明演算法處理多模式數據的能力。
對於每個數據集，將生成15%的樣本作為隨機均勻雜訊。該比例是OneClassSVM的nu參數和其他異常值檢測演算法的污染參數提供的值。離群值之間的決策邊界以黑色顯示，但是LOF除外，因為當採用LOF用於離群值檢測時，沒有適用於新數據的預測方法。
OneClassSVM對異常值敏感，對異常值檢測執行的不好。當訓練集不受異常值污染時，此估計器最適合新穎性檢測。即不適用在高維中進行離群值檢測或者不對基礎數據的分布進行任何假設，OneClassSVM在這些情況下可能會根據其超參數給出有用的結果。
covariance EllipticEnvelope（協方差橢圓密度）假定數據是高斯分布並學習一個橢圓。在數據不是單峰時，會退化。此估計器對異常值具有魯棒性。
IsolationFrorest和LocalOutlierFactor針對多模式數據集效果顯著。LOF針對第三種數據集，明顯優於其它三種估計器，該數據集中兩種模式的密度不同。LOF的局部方面，即它僅將一個樣本的異常評分與其鄰居評分作比較，從何體現了該方法的優勢。
針對最後一個均勻分布在超立方體中的數據集，很難說一個樣本比另一個樣本異常得多。除了OneClassSVM有些過擬合外，所有估計器都針對該情況提出不錯的解決方案。針對這種情況，應該仔細觀察樣本的異常分數，性能好的估算器應該為所有樣本分配相似的分數。
使用局部離群因子（LOF）進行離群值檢測
LOF演算法是一種無監督的異常檢測方法，可計算給定數據點相對於其鄰居的局部密度偏差。其中密度遠低於其鄰居的樣本為異常值。
LOF演算法的優勢在於同時考慮了數據集的局部和全局屬性：即使在異常樣本具有不同底層密度的數據集中，仍能保持良好性能。問題不在於樣本有多孤立，而在於樣本相對於周圍鄰域有多孤立。
通常考慮的鄰居數量（1）大於群集必須包含的最小樣本數量，以便其他樣本可以是相對於該群集的局部離散值；（2）小於可能是局部異常值的最大進距采樣數，此類消息通常不可用，採用n_neighbors=20。
具有局部異常值的新穎性檢驗
LOF是一種無監督的異常檢測方法，可計算給定數據點相對於其鄰居的局部密度偏差，密度遠低於其鄰居的樣本為異常值。LOF用於新穎性檢驗時，切勿在訓練集上使用預測、決定函數、實例得分，會導致結果錯誤。只能對新的看不見的數據（不在訓練集中）使用這些方法。
通常考慮鄰居數量（1）大於群集必須包含的最小樣本數，以便其他樣本可以是相對於該群集的局部離群值；（2）小於可能是局部異常值的最大進距采樣數，此類消息通常不可用，採用n_neighbors=20。
隔離林
在高維數據集中執行異常檢測的一種有效方法是使用隨機森林，分離的觀察通過隨機選擇一個函數，隨機選擇所選擇的特徵的最大值和最小值之間的分割值。遞歸分區可用樹結構表示，隔離樣本所需的拆分數量等於從根節點到終止結點的路徑長度。隨機樹的森林中的平均路徑長度是對正態性和決策函數的度量。隨機分區產生的異常路徑明顯較短，因此如果隨機樹森林為特定樣本生成的較短路徑，則該樹代表的值很可能是異常的。
OneClassSVM
無監督的離群值檢測，支持高維分布，基於libsvm
不假定數據分布的任何參數形式，可以更好的對數據的復雜形狀進行建模，能夠捕獲真實的數據結構，難點在於調整核函數寬度參數，以便在數據散布矩陣的形狀和數據過度擬合的風險間取得折中。
協方差橢圓密度
用於檢測高斯分布數據集中的異常值的對象
經驗協方差估計（作為非穩健估計）受到觀測值異質結構的高度影響；魯棒協方差估計能夠集中於數據分布的主要模式，但是它堅持假設數據是高斯分布，產生了對數據結構的某些估計，在一定程度上是准確的。
HBOS單維效果極佳，但是標准差方法的mask 掩碼效應嚴重。例如 數據通常在100以內，但是有兩個異常點，500，1000000。這個演算法就不能檢出500這個異常點。
對比而言，孤立森林理論上更適合大數據的異常檢測，且無掩碼效應。孤立森林確定異常時訓練只用樣本數據。每顆樹樣本數量默認只有256個，默認只用100顆樹。所以理論上25600個樣本就能確定海量數據中的異常點了。
Sklearn的 isolation forest 例子默認是讀入全量數據再采樣。如果配上warm up 選項就能分批放入采樣。
異常檢測的深度學習研究綜述
⑶ 如何對數學模型的可靠性進行檢測
數學建模是使用數學模型解決實際問題.
對數學的要求其實不高.
我上大一的時候,連高等數學都沒學就去參賽,就能得獎.
可見數學是必需的,但最重要的是文字表達能力
回答者：抉擇415 - 童生 一級 3-13 14:48
數學模型
數學模型是對於現實世界的一個特定對象,一個特定目的,根據特有的內在規律,做出一些必要的假設,運用適當的數學工具,得到一個數學結構.
簡單地說：就是系統的某種特徵的本質的數學表達式（或是用數學術語對部分現實世界的描述）,即用數學式子（如函數、圖形、代數方程、微分方程、積分方程、差分方程等）來描述（表述、模擬）所研究的客觀對象或系統在某一方面的存在規律.
數學建模
數學建模是利用數學方法解決實際問題的一種實踐.即通過抽象、簡化、假設、引進變數等處理過程後,將實際問題用數學方式表達,建立起數學模型,然後運用先進的數學方法及計算機技術進行求解.
數學建模將各種知識綜合應用於解決實際問題中,是培養和提高學生應用所學知識分析問題、解決問題的能力的必備手段之一.
數學建模的一般方法和步驟
建立數學模型的方法和步驟並沒有一定的模式,但一個理想的模型應能反映系統的全部重要特徵：模型的可靠性和模型的使用性.建模的一般方法：
機理分析：根據對現實對象特性的認識,分析其因果關系,找出反映內部機理的規律,所建立的模型常有明確的物理或現實意義.
測試分析方法：將研究對象視為一個「黑箱」系統,內部機理無法直接尋求,通過測量系統的輸入輸出數據,並以此為基礎運用統計分析方法,按照事先確定的准則在某一類模型中選出一個數據擬合得最好的模型.測試分析方法也叫做系統辯識.
將這兩種方法結合起來使用,即用機理分析方法建立模型的結構,用系統測試方法來確定模型的參數,也是常用的建模方法.
在實際過程中用那一種方法建模主要是根據我們對研究對象的了解程度和建模目的來決定.機理分析法建模的具體步驟大致如下：
1、 實際問題通過抽象、簡化、假設,確定變數、參數；
2、 建立數學模型並數學、數值地求解、確定參數；
3、 用實際問題的實測數據等來檢驗該數學模型；
4、 符合實際,交付使用,從而可產生經濟、社會效益；不符合實際,重新建模.
數學模型的分類：
1、 按研究方法和對象的數學特徵分：初等模型、幾何模型、優化模型、微分方程模型、圖論模型、邏輯模型、穩定性模型、統計模型等.
2、 按研究對象的實際領域（或所屬學科）分：人口模型、交通模型、環境模型、生態模型、生理模型、城鎮規劃模型、水資源模型、污染模型、經濟模型、社會模型等.
數學建模需要豐富的數學知識,涉及到高等數學,離散數學,線性代數,概率統計,復變函數等等 基本的數學知識
同時,還要有廣泛的興趣,較強的邏輯思維能力,以及語言表達能力等等
一般大學進行數學建模式從大二下學期開始,一般在九月份開始競賽,一般三天時間,三到四人一組,合作完成!
⑷ 模型的檢驗
在限定的時空范圍進行多層次立體模擬具有較大難度。通過勘查工作將各項水文地質因素相互轉化為概念模型,再轉變為數學模型的過程中,由於各種條件的限制,往往會出現誤差。通過降壓試驗等方法取得水文地質參數受多種因素的影響,亦難以代表較大范圍的水文地質特徵。識別模型得到的一組參數有可能並不精確代表野外的實際數值,也即指通過識別模型得到的一組參數可能並不精確代表模擬的地熱流體系統。模型檢驗有助於解決該問題。對模型進行調整檢驗,不斷改進、完善模型,使其與實際觀測資料相吻合。
由於受地熱井長觀資料完整性以及連續性限制,本次工作對新近系各熱儲層所建數值模型的擬合時間系列相對較短,而作為模型的檢驗期更為有限,只能選擇2006年11月至2007年10月一年時間作為新近系各熱儲層所建數值模型的檢驗期。
(1)檢驗方法
模型檢驗通常是將識別得到的一組參數和模型原封不動地用來模擬另一段時間的野塌激鎮外觀測數據,外部影響按該時段的實際情況給出,比較模擬值和實測值,兩者應在預先設定的容許誤差范圍內一致。對模型的檢驗同樣採用①對觀測井模擬結果與實測熱流體水位過程線進行對比,要求兩條對比曲線接近並達到較為理想的擬合鉛物結果,觀測值與計算值間的誤差在允許范圍內;②熱流體模擬水位等值線與實測水位等值線形狀相似。
在檢驗期內,確定館陶組分別6個長觀孔地熱流體水位標高動態曲線與模型計算曲線相比較,利用模型計算出檢驗期內的流場圖與實際繪制流場圖進行模擬對比(圖5-22)。
檢驗結果與實際誤差在團粗允許范圍內,說明所建模型基本反映了實際地熱系統特徵,對熱儲層的模型檢驗即告結束。如果檢驗結果不滿足要求。則需要對模型重新進行模擬調參,確定一組新參數帶入模型再檢驗,直到檢驗結果滿足要求。
(2)參數的識別結果
對熱流體流場、觀測孔的擬合驗證、對模型參數的靈敏度分析,以及對實測和計算數據的誤差分析、熱流體系統的補給量和排泄量的均衡分析等大量分析研究,其目的只有一個——得到穩定可靠能反映實際地熱流體系統的數值模型。
綜上所述,計算參數分區基本合理,模型識別結束所得水文地質參數(表5-10),基本表徵了館陶組熱儲層的運動特徵,所建數值模型基本符合實際,可以利用所建數值模型進行地熱資源評價。
⑸ 用時間序列的知識回答簡述如何檢驗一個模型的有效性
為了得到正確的結論、在進行系統分析、預測和輔助決策時,必須保證模型能夠准確地反映實際系統並能在計算機上正確運行.因此,必須對模型的有效性進行評估.模型有效性評估主要包括模型確認和模型驗證兩部分內容：模型確認考察的是系統模型（所建立的模型）與被模擬系統（研究對象）之間的關系,模型驗證考察的則是系統模型與模型計算機實現之間的關系.
對於一個具體的建模項目來說,模型有效性評估貫穿於研究的始終.必須指出,模型實際上是所研究的系統的一種抽象表述形式,要驗證一個模型是否百分之百有效是極其困難的,也是沒有實際意義的.另外,模型是否有效是相對於研究目的以及用戶需求而言的.在某些情況下,模型達到60％的可信度使可滿足要求；而在另外一些情況下,模型達到99％都可能是不滿足的.
模型有效性的概念出現在20世紀60年代,隨著計算機模擬技術在各個學科和工程領域的普遍應用,模型有效性問題日益受到人們的關注. 1967年,美國蘭德公司的fishman和Kivtat明確指出,模型有效性研究可劃分為兩個部分：模型的確認（validation）和驗證（verification）.這一觀點被國際模擬學界普遍採納.模型確認指通過比較在相同輸入條判和運行環境下模型與實際系統輸出之間的一致性,評價模型的可信度或可用性.模型驗證則是判斷模型的計算機實現是否正確.
盡管確認和驗證在各文獻中的定義不盡相同,但對於二者之間的區別,專家的看法卻是基本一致的.簡單地說,模型確認強調理論模型與實際系統之間的一致性,模型驗證則強調當前模型與計算機程序之間的一致性.在有些文獻中也採用工程技術人員容易接受的「校模」和「驗模」兩個術語來分別代替「確認」和「驗證」.模型的確認和驗證與建模的關系見圖 8.5.
在圖 8.5中,「問題實體」指被建模的對象,如系統、觀念、政策、現象等.「理論模型」是為達到某種特定的研究目的而對問題實體進行的數學／邏輯描述.「計算機模型」（computerized Model）是理論模型在計算機上的實現.
通過「分析與建模」活動可以建立理論模型.計算機模型的建立需通過「編程及實現」這一步驟來完成.經過模擬「實驗」即可得到關於問題實體的結果.
模型確認包括理論模型有效性確認、數據有效性確認和運行有效性確認三部分內容,其中運行有效性確認是模型確認的核心.
圖 8.5 確認和驗證與建模的關系
1）理論模型有效性確認
理論模型有效性確認是對理論模型中採用的理論依據和假設條件的正確性以及理論模型對問題實體描述的合理性加以證實的過程.理論模型有效性確認包括兩項內容：
（1）檢驗模型的理論依據及假設條件的正確性.它具有兩個含義,一是檢驗理論依據的應用條件是否滿足,如線性、正態性、獨立性、靜態性等；該檢驗過程可以利用統計方法進行.二是檢驗各種理論的應用是否正確.
（2）子模型的劃分及其與總模型的關系是否合理,即分析模型的結構是否正確,子模型問的數學/邏輯關系是否與問題實體相符.理論模型經確認有效後,才能對其進行試運行.最後根據輸出結果評估模型的精度.若理論模型無效,應重復分析、建模及確認的過程.
2）數據有效性確認
數據有效性確認用於保證模型建立、評估、檢驗和實驗所用的數據是充分的和正確的.
在模型開發過程中,數據用於模型的建立、校驗和運行.充分、正確、精確的數據是建立模型的基礎.數據有效性確認包括對模型中關鍵變數、關鍵參數及隨機變數的確認,以及對運行有效性確認時所使用的參數和初始值等數據的確認.
3）運行有效性確認
運行有效性確認指就模型開發目的或用途而言,模型在其預期應用范圍內的輸出行為是否有足夠的精度.
運行有效性確認的目的是對模型輸出結果的精度進行計算和評估.其前提是實際系統及其可比系統的數據均可獲取.通過比較模型和實際系統在相同初始條件下的輸出數據,可對模型有效性進行定量分析.與實際系統相類似的系統,確認為有效的解析模型、工程計算模型、以及經過確認的模型都可作為模型的可比系統.
理論模型確認、數據有效性確認及模型驗證是運行有效性確認的前提.經運行有效性確認被認為有效的模型即可作為正式模型投入運行,利用它進行實際問題的研究.若模型在運行有效性確認時被確認為無效,其原因可能是理論模型不正確、或計算機模型不正確,也可能是數據無效.具體原因的查明需從分析與建模階段開始,重復模型的構造過程.若實際系統及其可比系統不存在或完全不可觀測,則模型與系統的輸出數據無法進行比較.在這種情況下,一般只能通過模型驗證和理論模型確認,定性地分析模型的有效性.
理論模型有效性包括：1）表觀確認,分析對與模型有關的所有信息進行評估,確定需要附加分析的內容,以提高模型的可信度水平；2）歷史分析,對與模型有關的歷史信息的評估,以評價模型對預期應用的適宜性.3）預期應用和需求分析,對預期應用的效果進行評估,以確定那些對資源的有效利用起關鍵作用的需求.4）模型概念和逼真度分析,對模型的演算法和子模型進行評估,以辨識那些不適用的假設,並確定子模型的逼真度是否能保證模型的預期應用.5）邏輯追蹤分析,通過模型邏輯評估模型中指定實體的行為,並確定這些行為是否都是所期望的.