屬於聚類分析方法的是

1. 四種聚類方法之比較

四種聚類方法之比較
介紹了較為常見的k-means、層次聚類、SOM、FCM等四種聚類演算法，闡述了各自的原理和使用步驟，利用國際通用測試數據集IRIS對這些演算法進行了驗證和比較。結果顯示對該測試類型數據，FCM和k-means都具有較高的准確度，層次聚類准確度最差，而SOM則耗時最長。
關鍵詞:聚類演算法；k-means；層次聚類；SOM；FCM
聚類分析是一種重要的人類行為，早在孩提時代，一個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、數據分析、圖像處理、市場研究、客戶分割、Web文檔分類等[1]。
聚類就是按照某個特定標准(如距離准則)把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不在同一個簇中的數據對象的差異性也盡可能地大。即聚類後同一類的數據盡可能聚集到一起，不同數據盡量分離。
聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括數據挖掘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同類型的數據，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。
1 聚類演算法的分類
目前，有大量的聚類演算法[3]。而對於具體應用，聚類演算法的選擇取決於數據的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的數據嘗試多種演算法，以發現數據可能揭示的結果。
主要的聚類演算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。
每一類中都存在著得到廣泛應用的演算法，例如：劃分方法中的k-means[7]聚類演算法、層次方法中的凝聚型層次聚類演算法[8]、基於模型方法中的神經網路[9]聚類演算法等。
目前,聚類問題的研究不僅僅局限於上述的硬聚類，即每一個數據只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是將一個數據對象硬性地歸類到某一簇中。目前已有很多關於模糊聚類的演算法被提出，如著名的FCM演算法等。
本文主要對k-means聚類演算法、凝聚型層次聚類演算法、神經網路聚類演算法之SOM,以及模糊聚類的FCM演算法通過通用測試數據集進行聚類效果的比較和分析。
2 四種常用聚類演算法研究
2.1 k-means聚類演算法
k-means是劃分方法中較經典的聚類演算法之一。由於該演算法的效率高，所以在對大規模數據進行聚類時被廣泛應用。目前，許多演算法均圍繞著該演算法進行擴展和改進。
k-means演算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means演算法的處理過程如下：首先，隨機地選擇k個對象，每個對象初始地代表了一個簇的平均值或中心;對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重復，直到准則函數收斂。通常，採用平方誤差准則，其定義如下：

這里E是資料庫中所有對象的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函數使生成的簇盡可能緊湊獨立，使用的距離度量是歐幾里得距離,當然也可以用其他距離度量。k-means聚類演算法的演算法流程如下：
輸入：包含n個對象的資料庫和簇的數目k；
輸出：k個簇，使平方誤差准則最小。
步驟：
(1) 任意選擇k個對象作為初始的簇中心；
(2) repeat；
(3) 根據簇中對象的平均值，將每個對象(重新)賦予最類似的簇；
(4) 更新簇的平均值，即計算每個簇中對象的平均值；
(5) until不再發生變化。
2.2 層次聚類演算法
根據層次分解的順序是自底向上的還是自上向下的，層次聚類演算法分為凝聚的層次聚類演算法和分裂的層次聚類演算法。
凝聚型層次聚類的策略是先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛採用的簇間距離度量方法如下：

這里給出採用最小距離的凝聚層次聚類演算法流程：
(1) 將每個對象看作一類，計算兩兩之間的最小距離；
(2) 將距離最小的兩個類合並成一個新類；
(3) 重新計算新類與所有類之間的距離；
(4) 重復(2)、(3)，直到所有類最後合並成一類。
2.3 SOM聚類演算法
SOM神經網路[11]是由芬蘭神經網路專家Kohonen教授提出的，該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。
SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。
演算法流程：
(1) 網路初始化，對輸出層每個節點權重賦初值；
(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
(4) 提供新樣本、進行訓練；
(5) 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
2.4 FCM聚類演算法
1965年美國加州大學柏克萊分校的扎德教授第一次提出了『集合』的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。
FCM演算法是一種以隸屬度來確定每個數據點屬於某個聚類程度的演算法。該聚類演算法是傳統硬聚類演算法的一種改進。

演算法流程：
(1) 標准化數據矩陣；
(2) 建立模糊相似矩陣，初始化隸屬矩陣；
(3) 演算法開始迭代，直到目標函數收斂到極小值；
(4) 根據迭代結果，由最後的隸屬矩陣確定數據所屬的類，顯示最後的聚類結果。
3 四種聚類演算法試驗
3.1 試驗數據
實驗中，選取專門用於測試分類、聚類演算法的國際通用的UCI資料庫中的IRIS[13]數據集，IRIS數據集包含150個樣本數據，分別取自三種不同的鶯尾屬植物setosa、versicolor和virginica的花朵樣本,每個數據含有4個屬性，即萼片長度、萼片寬度、花瓣長度，單位為cm。在數據集上執行不同的聚類演算法，可以得到不同精度的聚類結果。
3.2 試驗結果說明
文中基於前面所述各演算法原理及演算法流程，用matlab進行編程運算，得到表1所示聚類結果。

如表1所示，對於四種聚類演算法，按三方面進行比較：(1)聚錯樣本數：總的聚錯的樣本數，即各類中聚錯的樣本數的和；(2)運行時間：即聚類整個過程所耗費的時間，單位為s；(3)平均准確度：設原數據集有k個類,用ci表示第i類，ni為ci中樣本的個數，mi為聚類正確的個數,則mi/ni為第i類中的精度，則平均精度為：

3.3 試驗結果分析
四種聚類演算法中，在運行時間及准確度方面綜合考慮，k-means和FCM相對優於其他。但是，各個演算法還是存在固定缺點：k-means聚類演算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進一步研究；層次聚類雖然不需要確定分類數，但是一旦一個分裂或者合並被執行，就不能修正，聚類質量受限制；FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入局部最優解；SOM與實際大腦處理有很強的理論聯系。但是處理時間較長，需要進一步研究使其適應大型資料庫。
聚類分析因其在許多領域的成功應用而展現出誘人的應用前景，除經典聚類演算法外，各種新的聚類方法正被不斷被提出。

2. 聚類演算法有哪些

聚類演算法有：劃分法、層次法、密度演算法、圖論聚類法、網格演算法、模型演算法。

1、劃分法

劃分法(partitioning methods)，給定一個有N個元組或者紀錄的數據集，分裂法將構造K個分組，每一個分組就代表一個聚類，K<N。使用這個基本思想的演算法有：K-MEANS演算法、K-MEDOIDS演算法、CLARANS演算法。

2、層次法

層次法(hierarchical methods)，這種方法對給定的數據集進行層次似的分解，直到某種條件滿足為止。具體又可分為「自底向上」和「自頂向下」兩種方案。代表演算法有：BIRCH演算法、CURE演算法、CHAMELEON演算法等。

3、密度演算法

基於密度的方法(density-based methods)，基於密度的方法與其它方法的一個根本區別是：它不是基於各種各樣的距離的，而是基於密度的。這樣就能克服基於距離的演算法只能發現「類圓形」的聚類的缺點。代表演算法有：DBSCAN演算法、OPTICS演算法、DENCLUE演算法等。

4、圖論聚類法

圖論聚類方法解決的第一步是建立與問題相適應的圖，圖的節點對應於被分析數據的最小單元，圖的邊（或弧）對應於最小處理單元數據之間的相似性度量。因此，每一個最小處理單元數據之間都會有一個度量表達，這就確保了數據的局部特性比較易於處理。圖論聚類法是以樣本數據的局域連接特徵作為聚類的主要信息源，因而其主要優點是易於處理局部數據的特性。

5、網格演算法

基於網格的方法(grid-based methods)，這種方法首先將數據空間劃分成為有限個單元（cell）的網格結構,所有的處理都是以單個的單元為對象的。代表演算法有：STING演算法、CLIQUE演算法、WAVE-CLUSTER演算法。

6、模型演算法

基於模型的方法(model-based methods)，基於模型的方法給每一個聚類假定一個模型，然後去尋找能夠很好的滿足這個模型的數據集。通常有兩種嘗試方向：統計的方案和神經網路的方案。

(2)屬於聚類分析方法的是擴展閱讀：

聚類分析起源於分類學，在古老的分類學中，人們主要依靠經驗和專業知識來實現分類，很少利用數學工具進行定量的分類。隨著人類科學技術的發展，對分類的要求越來越高，以致有時僅憑經驗和專業知識難以確切地進行分類，於是人們逐漸地把數學工具引用到了分類學中，形成了數值分類學，之後又將多元分析的技術引入到數值分類學形成了聚類分析。聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論聚類法、聚類預報法等。

在商業上，聚類可以幫助市場分析人員從消費者資料庫中區分出不同的消費群體來，並且概括出每一類消費者的消費模式或者說習慣。它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現資料庫中分布的一些深層的信息，並且概括出每一類的特點，或者把注意力放在某一個特定的類上以作進一步的分析；並且，聚類分析也可以作為數據挖掘演算法中其他分析演算法的一個預處理步驟。

3. 聚類演算法有哪幾種

聚類分析計算方法主要有： 層次的方法(hierarchical method)、劃分方法(partitioning method)、基於密度的方法(density-based method)、基於網格的方法(grid-based method)、基於模型的方法(model-based method)等。其中，前兩種演算法是利用統計學定義的距離進行度量。

k-means 演算法的工作過程說明如下：首先從n個數據對象任意選擇 k 個對象作為初始聚類中心;而對於所剩下其它對象，則根據它們與這些聚類中心的相似度(距離)，分別將它們分配給與其最相似的(聚類中心所代表的)聚類;然 後再計算每個所獲新聚類的聚類中心(該聚類中所有對象的均值);不斷重復這一過程直到標准測度函數開始收斂為止。一般都採用均方差作為標准測度函數. k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。

其流程如下：

(1)從 n個數據對象任意選擇 k 個對象作為初始聚類中心;

(2)根據每個聚類對象的均值(中心對象)，計算每個對象與這些中心對象的距離;並根據最小距離重新對相應對象進行劃分;

(3)重新計算每個(有變化)聚類的均值(中心對象);

(4)循環(2)、(3)直到每個聚類不再發生變化為止(標准測量函數收斂)。

優點： 本演算法確定的K個劃分到達平方誤差最小。當聚類是密集的，且類與類之間區別明顯時，效果較好。對於處理大數據集，這個演算法是相對可伸縮和高效的，計算的復雜度為 O(NKt)，其中N是數據對象的數目，t是迭代的次數。

缺點：

1. K 是事先給定的，但非常難以選定;

2. 初始聚類中心的選擇對聚類結果有較大的影響。

4. 什麼是聚類分析聚類演算法有哪幾種

聚類分析又稱群分析，它是研究（樣品或指標）分類問題的一種統計分析方法。聚類分析起源於

分類學，在古老的分類學中，人們主要依靠經驗和專業知識來實現分類，很少利用數學工具進行

定量的分類。隨著人類科學技術的發展，對分類的要求越來越高，以致有時僅憑經驗和專業知識

難以確切地進行分類，於是人們逐漸地把數學工具引用到了分類學中，形成了數值分類學，之後又

將多元分析的技術引入到數值分類學形成了聚類分析。

聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論

聚類法、聚類預報法等。

聚類分析計算方法主要有如下幾種：分裂法(partitioning methods)：層次法(hierarchical

methods)：基於密度的方法(density-based methods): 基於網格的方法(grid-based

methods): 基於模型的方法(model-based methods)。

5. 聚類分析法

聚類分析，亦稱群分析或點分析，是研究多要素事物分類問題的數量方法。其基本原理是，根據樣本自身的屬性，用數學方法按照某些相似性或差異性指標，定量地確定樣本之間的親疏關系，並按親疏關系的程度對樣本進行聚類（徐建華，1994）。

聚類分析方法，應用在地下水中，是在各種指標和質量級別標准約束條件下，通過樣品的各項指標監測值綜合聚類，以判別地下水質量的級別。常見的聚類分析方法有系統聚類法、模糊聚類法和灰色聚類法等。

（一）系統聚類法

系統聚類法的主要步驟有：數據標准化、相似性統計量計算和聚類。

1.數據標准化

在聚類分析中，聚類要素的選擇是十分重要的，它直接影響分類結果的准確性和可靠性。在地下水質量研究中，被聚類的對象常常是多個要素構成的。不同要素的數據差異可能很大，這會對分類結果產生影響。因此當分類要素的對象確定之後，在進行聚類分析之前，首先對聚類要素進行數據標准化處理。

假設把所考慮的水質分析點（G）作為聚類對象（有m個），用i表示（i=1，2，…，m）；把影響水質的主要因素作為聚類指標（有n個），用j表示（j=1，2，…，n），它們所對應的要素數據可用表4-3給出。在聚類分析中，聚類要素的數據標准化的方法較多，一般採用標准差法和極差法。

表4-3 聚類對象與要素數據

對於第j個變數進行標准化，就是將x_ij變換為x′_ij。

（1）總和標准化

區域地下水功能可持續性評價理論與方法研究

這種標准化方法所得的新數據x′_ij滿足

區域地下水功能可持續性評價理論與方法研究

（2）標准差標准化

區域地下水功能可持續性評價理論與方法研究

式中：

；

由這種標准化方法所得的新數據x′_ij，各要素的平均值為0，標准差為1，即有

區域地下水功能可持續性評價理論與方法研究

（3）極差標准化

區域地下水功能可持續性評價理論與方法研究

經過這種標准化所得的新數據，各要素的極大值為1，極小值為0，其餘的數值均在［0，1］閉區間內。

上述式中：x_ij為j變數實測值；x_j為j變數的樣本平均值；s_j為樣本標准差。

2.相似性統計量

系統聚類法要求給出一個能反映樣品間相似程度的一個數字指標，需要找到能量度相似關系的統計量，這是系統聚類法的關鍵。

相似性統計量一般使用距離系數和相似系數進行計算。距離系數是把樣品看成多維空間的點，用點間的距離來表示研究對象的緊密關系，距離越小，表明關系越密切。相似系數值表明樣本和變數間的相似程度。

（1）距離系數

常採用歐幾里得絕對距離，其中i樣品與j樣品距離d_ij為

區域地下水功能可持續性評價理論與方法研究

d_ij越小，表示i，j樣品越相似。

（2）相似系數

常見的相似系數有夾角餘弦和相關系數，計算公式為

1）夾角餘弦

區域地下水功能可持續性評價理論與方法研究

在式（4-20）中：-1≤cosθ_ij≤1。

2）相關系數

區域地下水功能可持續性評價理論與方法研究

式中：d_ij為i樣品與j樣品的歐幾里得距離；cosθ_ij為i樣品與j樣品的相似系數；r_ij為i樣品與j樣品的相關系數；x_ik為i樣品第k個因子的實測值或標准化值；x_jk為j樣品第k個因子的實測值或標准化值；

為i樣品第k個因子的均值，

；

為j樣品第k個因子的均值，

；n為樣品的數目；k為因子（變數）數。

3.聚類

在選定相似性統計量之後，根據計算結果構成距離或相似性系數矩陣（n×n），然後通過一定的方法把n個樣品組合成不同等級的分類單位，對類進行並類，即將最相似的樣品歸為一組，然後，把次相似的樣品歸為分類級別較高的組。聚類主要有直接聚類法、距離聚類法（最短距離聚類法、最遠距離聚類法）。

（1）直接聚類法

直接聚類法，是根據距離或相似系數矩陣的結構一次並類得到結果，是一種簡便的聚類方法。它首先把各個分類對象單獨視為一類，然後根據距離最小或相似系數最大的原則，依次選出一對分類對象，並成新類。如果一對分類對象正好屬於已歸的兩類，則把這兩類並為一類。每一次歸並，都劃去該對象所在的列與列序相同的行。經過n-1次把全部分類對象歸為一類，最後根據歸並的先後順序作出聚類分析譜系圖。

（2）距離聚類法

距離聚類法包括最短距離聚類法和最遠距離聚類法。最短距離聚類法具有空間壓縮性，而最遠距離聚類法具有空間擴張性。這兩種聚類方法關於類之間的距離計算可以用一個統一的公式表示：

區域地下水功能可持續性評價理論與方法研究

當γ=-0.5時，式（4-22）計算類之間的距離最短；當γ=0.5時，式（4-22）計算類之間的距離最遠。

最短、最遠距離法，是在原來的n×n距離矩陣的非對角元素中找出d_pq=min（d_ij）或d_pq=max（d_ij），把分類對象G_p和G_q歸並為一新類G_r，然後按計算公式：

d_pq=min（d_pk，d_qk）（k≠ p，q） （4-23）

d_pq=max（d_pk，d_qk）（k≠ p，q） （4-24）

計算原來各類與新類之間的距離，這樣就得到一個新的（n-1）階的距離矩陣；再從新的距離矩陣中選出最小或最大的d_ij，把G_i和G_j歸並成新類；再計算各類與新類的距離，直至各分類對象被歸為一類為止。最後綜合整個聚類過程，作出最短距離或最遠距離聚類譜系圖（圖4-1）。

圖4-1 地下水質量評價的聚類譜系圖

（二）模糊聚類法

模糊聚類法是普通聚類方法的一種拓展，它是在聚類方法中引入模糊概念形成的。該方法評價地下水質量的主要步驟，包括數據標准化、標定和聚類3個方面（付雁鵬等，1987）。

1.數據標准化

在進行聚類過程中，由於所研究的各個變數絕對值不一樣，所以直接使用原始數據進行計算就會突出絕對值大的變數，而降低絕對值小的變數作用，特別是在進行模糊聚類分析中，模糊運算要求必須將數據壓縮在［0，1］之間。因此，模糊聚類計算的首要工作是解決數據標准化問題。數據標准化的方法見系統聚類分析法。

2.標定與聚類

所謂標定就是計算出被分類對象間的相似系數r_ij，從而確定論域集U上的模糊相似關系R_ij。相似系數的求取，與系統聚類分析法相同。

聚類就是在已建立的模糊關系矩陣R_ij上，給出不同的置信水平λ（λ∈［0，1］）進行截取，進而得到不同的分類。

聚類方法較多，主要有基於模糊等價關系基礎上的聚類與基於最大樹的聚類。

（1）模糊等價關系方法

所謂模糊等價關系，是指具有自反性（r_ii=1）、對稱性（r_ij=r_ji）與傳遞性（R·R⊆R）的模糊關系。

基於模糊等價關系的模糊聚類分析方法的基本思想是：由於模糊等價關系R是論域集U與自己的直積U×U上的一個模糊子集，因此可以對R進行分解，當用λ-水平對R作截集時，截得的U×U的普通子集R_λ就是U上的一個普通等價關系，也就是得到了關於U中被分類對象元素的一種。當λ由1下降到0時，所得的分類由細變粗，逐漸歸並，從而形成一個動態聚類譜系圖（徐建華，1994）。此類分析方法的具體步驟如下。

第一步：模糊相似關系的建立，即計算各分類對象之間相似性統計量。

第二步：將模糊相似關系R改造為模糊等價關系R′。模糊等價關系要求滿足自反性、對稱性與傳遞性。一般而言，模糊相似關系滿足自反性和對稱性，但不滿足傳遞性。因此，需要採用傳遞閉合的性質將模糊相似關系改造為模糊等價關系。改造的方法是將相似關系R自乘，即

R²=R·R

R⁴=R²·R²

︙

這樣計算下去，直到：R^2k=R^k·R^k=R^k，則R′=R^k便是一個模糊等價關系。

第三步：在不同的截集水平下進行聚類。

（2）最大樹聚類方法

基於最大樹的模糊聚類分析方法的基本思路是：最大樹是一個不包含迴路的連通圖（圖4-2）；選取λ水平對樹枝進行截取，砍去權重低於λ 的枝，形成幾個孤立的子樹，每一棵子樹就是一個類的集合。此類分析方法的具體步驟如下。

圖4-2 最大聚類支撐樹圖

第一步：計算分類對象之間的模糊相似性統計量r_ij，構建最大樹。

以所有被分類的對象為頂點，當兩點間r_ij不等於0時，兩點間可以用樹干連接，這種連接是按r_ij從大到小的順序依次進行的，從而構成最大樹。

第二步：由最大樹進行聚類分析。

選擇某一λ值作截集，將樹中小於λ值的樹干砍斷，使相連的結點構成一類，即子樹，當λ由1到0時，所得到的分類由細變粗，各結點所代表的分類對象逐漸歸並，從而形成一個動態聚類譜系圖。

在聚類方法中，模糊聚類法比普通聚類法有較大的突破，簡化了運算過程，使聚類法更易於掌握。

（三）灰色聚類法

灰色聚類是根據不同聚類指標所擁有的白化數，按幾個灰類將聚類對象進行歸納，以判斷該聚類對象屬於哪一類。

灰色聚類應用於地下水水質評價中，是把所考慮的水質分析點作為聚類對象，用i表示（i=1，2，…，n）；把影響水質的主要因素作為聚類指標，用j表示（j=1，2，…，m），把水質級別作為聚類灰數（灰類），用k表示（k=1，2，3）即一級、二級、三級3個灰類（羅定貴等，1995）。

灰色聚類的主要步驟：確定聚類白化數、確定各灰色白化函數f_jk、求標定聚類權重η_jk、求聚類系數和按最大原則確定聚類對象分類。

1.確定聚類白化數

當各灰類白化數在數量上相差懸殊時，為保證各指標間的可比性與等效性，必須進行白化數的無量綱化處理。即給出第i個聚類對象中第j個聚類指標所擁有的白化數，i=1，2，…，n；j=1，2，…，m。

2.確定各灰色白化函數

建立滿足各指標、級別區間為最大白化函數值（等於1），偏離此區間愈遠，白化函數愈小（趨於0）的功效函數f_ij（x）。根據監測值C_ki，可在圖上（圖4-3）解析出相應的白化函數值f_jk（C_ik），j=1，2，…，m；k=1，2，3。

3.求標定聚類權重

根據式（4-25），計算得出聚類權重η_jk的矩陣（n×m）。

區域地下水功能可持續性評價理論與方法研究

式中：η_jk為第j個指標對第k個灰類的權重；λ_jk為白化函數的閾值（根據標准濃度而定）。

圖4-3 白化函數圖

註：圖4-3白化函數f（x）∈［0，1］，具有下述特點：①平頂部分，表示該量的最佳程度。這部分的值為最佳值，即系數（權）為1，f（x）=max=1（峰值），x∈［x₂，x₃］。②白化函數是單調變化的，左邊部分f（x）=L（x），單調增，x∈（x₁，x₂］，稱為白化的左支函數；右邊部分f（x）=R（x），單調減，x∈［x₃，x₄），稱為白化的右支函數。③白化函數左右支函數對稱。④白化函數，為了簡便，一般是直線。⑤白化函數的起點和終點，一般來說是人為憑經驗確定。

4.求聚類系數

σ_ik=∑f_jk（d_ij）η_jk （4-26）

式中：σ_ik為第i個聚類對象屬於第k個灰類的系數，i=1，2，…，n；k=1，2，3。

5.按最大原則確定聚類對象分類

由σ_ik構造聚類向量矩陣，行向量最大者，確定k樣品屬於j級對應的級別。

用灰色聚類方法進行地下水水質評價，能最大限度地避免因人為因素而造成的「失真、失效」現象。

聚類方法計算相對復雜，但是計算結果與地下水質量標准級別對應性明顯，能夠較全面反映地下水質量狀況，也是較高層次定量研究地下水質量的重要方法。

6. 聚類分析

在沒有先驗知識的情況下，對樣本按各自的特性來進行合理的分類
聚類分析：不需要先知道所屬類別就可以實現按各自特性的分類

聚類分析有兩種主要計算方法，分別是凝聚層次聚類（Agglomerative hierarchical method）和K均值聚類（K-Means）
（1）層次聚類首先要定義樣本之間的距離關系，距離較近的歸為一類，較遠的則屬於不同的類。
（2）K均值聚類不需要計算距離，但要求事先給出分類個數

ris數據集包含5個方面的信息，為了探索聚類分析，所以採用前4個變數作為模型前期數據，使用species作為聚類模型結果的驗證。

（1）首先提取iris數據中的4個數值變數，然後計算其歐氏距離矩陣。
（2）然後將矩陣繪制熱圖，從圖中可以看到顏色越深表示樣本間距離越近·
從圖中可以看到顏色越深表示樣本間距離越近。大致上可以區分出三到四個區塊，其樣本之間比較接近。

使用hclust完成數據集的層次聚類，plot函數可以查看聚類結果
使用cutree函數提取每個樣本所屬的類別

到此就完成了150個數據的類別劃分

可視化展現層次聚類結果
setose品種聚類很成功，但有一些virginica品種的花被錯誤和virginica品種聚類到一起

使用kmeans函數進行K均值聚類

centers參數用來設置分類個數，
nstart參數用來設置取隨機初始中心的次數，其默認值為1，但取較多的次數可以改善聚類效果
K均值聚類後，數據集的結果為：

如果聚類正確的話，圓形點對應紅色；三角形對應藍色；方框對應綠色
K均值聚類setose品種聚類比較好，但有一些virginica品種的花被錯誤和virginica品種聚類到一起

7. K均值聚類法和系統聚類法有什麼區別，這兩種聚類方法的適用條件都是什麼

適用條件：系統聚類法適於二維有序樣品聚類的樣品個數比較均勻。K均值聚類法適用於快速高效，特別是大量數據時使用。

兩者區別如下：

一、指代不同

1、K均值聚類法：是一種迭代求解的聚類分析演算法。

2、系統聚類法：又叫分層聚類法，聚類分析的一種方法。

二、步驟不同

1、K均值聚類法：步驟是隨機選取K個對象作為初始的聚類中心，然後計算每個對象與各個種子聚類中心之間的距離，把每個對象分配給距離它最近的聚類中心。

2、系統聚類法：開始時把每個樣品作為一類，然後把最靠近的樣品（即距離最小的群品）首先聚為小類，再將已聚合的小類按其類間距離再合並，不斷繼續下去，最後把一切子類都聚合到一個大類。

三、目的不同

1、K均值聚類法：終止條件可以是沒有（或最小數目）對象被重新分配給不同的聚類，沒有（或最小數目）聚類中心再發生變化，誤差平方和局部最小。

2、系統聚類法：是以距離為相似統計量時，確定新類與其他各類之間距離的方法，如最短距離法、最長距離法、中間距離法、重心法、群平均法、離差平方和法、歐氏距離等。

8. 聚類分析方法是什麼

聚類分析：將個體（樣品）或者對象（變數）按相似程度（距離遠近）劃分類別，使得同一類中的元素之間的相似性比其他類的元素的相似性更強。目的在於使類間元素的同質性最大化和類與類間元素的異質性最大化。

9. 16種常用的數據分析方法-聚類分析

聚類（Clustering）就是一種尋找數據之間內在結構的技術。聚類把全體數據實例組織成一些相似組，而這些相似組被稱作簇。處於相同簇中的數據實例彼此相同，處於不同簇中的實例彼此不同。

聚類分析定義

聚類分析是根據在數據中發現的描述對象及其關系的信息，將數據對象分組。目的是，組內的對象相互之間是相似的（相關的），而不同組中的對象是不同的（不相關的）。組內相似性越大，組間差距越大，說明聚類效果越好。

聚類效果的好壞依賴於兩個因素：1.衡量距離的方法（distance measurement） 2.聚類演算法（algorithm）

 

聚類分析常見演算法

K-均值聚類也稱為快速聚類法，在最小化誤差函數的基礎上將數據劃分為預定的類數K。該演算法原理簡單並便於處理大量數據。

K-均值演算法對孤立點的敏感性，K-中心點演算法不採用簇中對象的平均值作為簇中心，而選用簇中離平均值最近的對象作為簇中心。

也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的對象就越少，但這些對象間的共同特徵越多。該聚類方法只適合在小數據量的時候使用，數據量大的時候速度會非常慢。

 

案例

有20種12盎司啤酒成分和價格的數據，變數包括啤酒名稱、熱量、鈉含量、酒精含量、價格。

 

問題一：選擇那些變數進行聚類？——採用「R 型聚類」

 

現在我們有4個變數用來對啤酒分類，是否有必要將4個變數都納入作為分類變數呢？熱量、鈉含量、酒精含量這3個指標是要通過化驗員的辛苦努力來測定，而且還有花費不少成本。

所以，有必要對4個變數進行降維處理，這里採用spss R型聚類（變數聚類），對4個變數進行降維處理。輸出「相似性矩陣」有助於我們理解降維的過程。

4個分類變數各自不同，這一次我們先用相似性來測度，度量標准選用pearson系數，聚類方法選最遠元素，此時，涉及到相關，4個變數可不用標准化處理，將來的相似性矩陣里的數字為相關系數。若果有某兩個變數的相關系數接近1或-1，說明兩個變數可互相替代。

只輸出「樹狀圖」就可以了,從proximity matrix表中可以看出熱量和酒精含量兩個變數相關系數0.903，最大，二者選其一即可，沒有必要都作為聚類變數，導致成本增加。

至於熱量和酒精含量選擇哪一個作為典型指標來代替原來的兩個變數，可以根據專業知識或測定的難易程度決定。（與因子分析不同，是完全踢掉其中一個變數以達到降維的目的。）這里選用酒精含量，至此，確定出用於聚類的變數為：酒精含量，鈉含量，價格。

        

問題二：20 中啤酒能分為幾類？—— 採用「Q 型聚類」

 

現在開始對20中啤酒進行聚類。開始不確定應該分為幾類，暫時用一個3-5類范圍來試探。Q型聚類要求量綱相同，所以我們需要對數據標准化，這一回用歐式距離平方進行測度。

主要通過樹狀圖和冰柱圖來理解類別。最終是分為4類還是3類，這是個復雜的過程，需要專業知識和最初的目的來識別。

這里試著確定分為4類。選擇「保存」，則在數據區域內會自動生成聚類結果。

問題三：用於聚類的變數對聚類過程、結果又貢獻么，有用么？——採用「單因素方差分析」

 

聚類分析除了對類別的確定需討論外，還有一個比較關鍵的問題就是分類變數到底對聚類有沒有作用有沒有貢獻，如果有個別變數對分類沒有作用的話，應該剔除。

這個過程一般用單因素方差分析來判斷。注意此時，因子變數選擇聚為4類的結果，而將三個聚類變數作為因變數處理。方差分析結果顯示，三個聚類變數sig值均極顯著，我們用於分類的3個變數對分類有作用，可以使用，作為聚類變數是比較合理的。

 

問題四：聚類結果的解釋？——採用」均值比較描述統計「

聚類分析最後一步，也是最為困難的就是對分出的各類進行定義解釋，描述各類的特徵，即各類別特徵描述。這需要專業知識作為基礎並結合分析目的才能得出。

我們可以採用spss的means均值比較過程，或者excel的透視表功能對各類的各個指標進行描述。其中，report報表用於描述聚類結果。對各類指標的比較來初步定義類別，主要根據專業知識來判定。這里到此為止。

以上過程涉及到spss層次聚類中的Q型聚類和R型聚類，單因素方差分析，means過程等，是一個很不錯的多種分析方法聯合使用的案例。

 

聚類分析的應用

聚類分析是細分市場的有效工具，被用來發現不同的客戶群，並且它通過對不同的客戶群的特徵的刻畫，被用於研究消費者行為，尋找新的潛在市場。

 

聚類分析被用來對動植物和基因進行分類，以獲取對種群固有結構的認識。

 

聚類分析可以通過平均消費來鑒定汽車保險單持有者的分組，同時可以根據住宅類型、價值、地理位置來鑒定城市的房產分組。

 

聚類分析被用來在網上進行文檔歸類。

 

聚類分析通過分組聚類出具有相似瀏覽行為的客戶，並分析客戶的共同特徵，從而幫助電子商務企業了解自己的客戶，向客戶提供更合適的服務。

 

10. 聚類分析法（CA）

3.2.3.1 技術原理

聚類分析又稱群分析（CA），它是研究（對樣品或指標）分類問題的一種多元統計方法。首先認為所研究的樣品或指標（變數）之間存在著程度不同的相似性（親疏關系），根據一批樣品的多個觀測指標具體找出一些能夠度量樣品或指標之間相似程度的統計量，以這些統計量為劃分類型的依據，把一些相似程度較大的樣品（或指標）聚合為一類，把另一些彼此之間相似程度較大的樣品（或指標）聚合為另一類，根據分類對象不同，可分為對樣品分類的Q型聚類分析和對指標分類的R型聚類分析兩種類型。聚類分析可用SPSS軟體直接實現，在水質時空變異、水化學類型分區中得到廣泛的應用。聚類分析的功能是建立一種分類方法，它將一批樣品或變數，按照它們在性質上的親疏、相似程度進行分類，聚類分析的內容十分豐富，按其聚類的方法可分為以下幾種：系統聚類法、調優法、最優分割法、模糊聚類法等。

聚類分析根據分類對象的不同又分為R型和Q型兩大類，R型是對變數（指標）進行分類，Q型是對樣品進行分類。為了對樣品（或變數）進行分類，就必須研究它們之間的關系，描述樣品間親疏相似程度的統計量很多，目前用得最多的是距離和相似系數。距離方法主要有：閔科夫斯基（Minkowski）距離、絕對值距離、歐氏距離等。

樣品間的親疏程度除了用距離描述外，也可用相似系數來表示，相似系數的構造主要有以下兩種方法：對於定量變數，我們通常採用的相似系數有x_i和x_j之間的夾角餘弦和相關系數。

3.2.3.2 方法流程

目前使用最多的聚類方法是系統聚類法，其基本思想是：先將n個樣品各自看成一類，共有n個類，然後計算類與類間的距離，選擇距離最小的兩類合並成一個新類，使總類數減少為n-1，接著再計算這n-1類兩兩間的距離，從中找出距離最近的兩類合並，總類數又減少一個，剩下n-2個類，照此下去，每合並一次，減少一類，直至所有樣品都合並成一類為止。在並類的過程當中，可以根據聚類的先後以及並類時兩類間的距離，畫出能直觀反映各樣品間相近和疏遠程度的聚類圖（也稱譜系圖），根據這張聚類圖有可能找到最合適的分類方案。系統聚類法的聚類原則決定於樣品間的距離（或相似系數）及類間距離的定義，類間距離的不同定義就產生了不同的系統聚類分析方法，類間距離的定義方法主要有最短距離法、最長距離法、中間距離法、重心法、類平均法。在合理地選定（或定義）樣品間的距離以後，再適當定義類間的距離，就確定了一種聚類規則，之後按照系統聚類法的一般步驟加以聚類（圖3.4）。

圖3.4 聚類分析技術流程圖

3.2.3.3 適用范圍

聚類分析能夠將變數及樣本按照相應的規則進行分類，在大樣本多參數數據降維方面具有相對的優勢，尤其是對於在時間、空間上具有復雜變化的數據，聚類分析能夠根據變數和樣本的相關性和相似性，將數據有效地劃分為不同的類別，並通過樹狀圖反映出樣品隨距離或變數間相似性變化的情況，為查清變數和樣品之間關系提供了依據，也為查明污染來源奠定了基礎。