什麼是聚類分析方法

『壹』 聚類分析法（CA）

3.2.3.1 技術原理

聚類分析又稱群分析（CA），它是研究（對樣品或指標）分類問題的一種多元統計方法。首先認為所研究的樣品或指標（變數）之間存在著程度不同的相似性（親疏關系），根據一批樣品的多個觀測指標具體找出一些能夠度量樣品或指標之間相似程度的統計量，以這些統計量為劃分類型的依據，把一些相似程度較大的樣品（或指標）聚合為一類，把另一些彼此之間相似程度較大的樣品（或指標）聚合為另一類，根據分類對象不同，可分為對樣品分類的Q型聚類分析和對指標分類的R型聚類分析兩種類型。聚類分析可用SPSS軟體直接實現，在水質時空變異、水化學類型分區中得到廣泛的應用。聚類分析的功能是建立一種分類方法，它將一批樣品或變數，按照它們在性質上的親疏、相似程度進行分類，聚類分析的內容十分豐富，按其聚類的方法可分為以下幾種：系統聚類法、調優法、最優分割法、模糊聚類法等。

聚類分析根據分類對象的不同又分為R型和Q型兩大類，R型是對變數（指標）進行分類，Q型是對樣品進行分類。為了對樣品（或變數）進行分類，就必須研究它們之間的關系，描述樣品間親疏相似程度的統計量很多，目前用得最多的是距離和相似系數。距離方法主要有：閔科夫斯基（Minkowski）距離、絕對值距離、歐氏距離等。

樣品間的親疏程度除了用距離描述外，也可用相似系數來表示，相似系數的構造主要有以下兩種方法：對於定量變數，我們通常採用的相似系數有x_i和x_j之間的夾角餘弦和相關系數。

3.2.3.2 方法流程

目前使用最多的聚類方法是系統聚類法，其基本思想是：先將n個樣品各自看成一類，共有n個類，然後計算類與類間的距離，選擇距離最小的兩類合並成一個新類，使總類數減少為n-1，接著再計算這n-1類兩兩間的距離，從中找出距離最近的兩類合並，總類數又減少一個，剩下n-2個類，照此下去，每合並一次，減少一類，直至所有樣品都合並成一類為止。在並類的過程當中，可以根據聚類的先後以及並類時兩類間的距離，畫出能直觀反映各樣品間相近和疏遠程度的聚類圖（也稱譜系圖），根據這張聚類圖有可能找到最合適的分類方案。系統聚類法的聚類原則決定於樣品間的距離（或相似系數）及類間距離的定義，類間距離的不同定義就產生了不同的系統聚類分析方法，類間距離的定義方法主要有最短距離法、最長距離法、中間距離法、重心法、類平均法。在合理地選定（或定義）樣品間的距離以後，再適當定義類間的距離，就確定了一種聚類規則，之後按照系統聚類法的一般步驟加以聚類（圖3.4）。

圖3.4 聚類分析技術流程圖

3.2.3.3 適用范圍

聚類分析能夠將變數及樣本按照相應的規則進行分類，在大樣本多參數數據降維方面具有相對的優勢，尤其是對於在時間、空間上具有復雜變化的數據，聚類分析能夠根據變數和樣本的相關性和相似性，將數據有效地劃分為不同的類別，並通過樹狀圖反映出樣品隨距離或變數間相似性變化的情況，為查清變數和樣品之間關系提供了依據，也為查明污染來源奠定了基礎。

『貳』 聚類分析法

聚類分析，亦稱群分析或點分析，是研究多要素事物分類問題的數量方法。其基本原理是，根據樣本自身的屬性，用數學方法按照某些相似性或差異性指標，定量地確定樣本之間的親疏關系，並按親疏關系的程度對樣本進行聚類（徐建華，1994）。

聚類分析方法，應用在地下水中，是在各種指標和質量級別標准約束條件下，通過樣品的各項指標監測值綜合聚類，以判別地下水質量的級別。常見的聚類分析方法有系統聚類法、模糊聚類法和灰色聚類法等。

（一）系統聚類法

系統聚類法的主要步驟有：數據標准化、相似性統計量計算和聚類。

1.數據標准化

在聚類分析中，聚類要素的選擇是十分重要的，它直接影響分類結果的准確性和可靠性。在地下水質量研究中，被聚類的對象常常是多個要素構成的。不同要素的數據差異可能很大，這會對分類結果產生影響。因此當分類要素的對象確定之後，在進行聚類分析之前，首先對聚類要素進行數據標准化處理。

假設把所考慮的水質分析點（G）作為聚類對象（有m個），用i表示（i=1，2，…，m）；把影響水質的主要因素作為聚類指標（有n個），用j表示（j=1，2，…，n），它們所對應的要素數據可用表4-3給出。在聚類分析中，聚類要素的數據標准化的方法較多，一般採用標准差法和極差法。

表4-3 聚類對象與要素數據

對於第j個變數進行標准化，就是將x_ij變換為x′_ij。

（1）總和標准化

區域地下水功能可持續性評價理論與方法研究

這種標准化方法所得的新數據x′_ij滿足

區域地下水功能可持續性評價理論與方法研究

（2）標准差標准化

區域地下水功能可持續性評價理論與方法研究

式中：

；

由這種標准化方法所得的新數據x′_ij，各要素的平均值為0，標准差為1，即有

區域地下水功能可持續性評價理論與方法研究

（3）極差標准化

區域地下水功能可持續性評價理論與方法研究

經過這種標准化所得的新數據，各要素的極大值為1，極小值為0，其餘的數值均在［0，1］閉區間內。

上述式中：x_ij為j變數實測值；x_j為j變數的樣本平均值；s_j為樣本標准差。

2.相似性統計量

系統聚類法要求給出一個能反映樣品間相似程度的一個數字指標，需要找到能量度相似關系的統計量，這是系統聚類法的關鍵。

相似性統計量一般使用距離系數和相似系數進行計算。距離系數是把樣品看成多維空間的點，用點間的距離來表示研究對象的緊密關系，距離越小，表明關系越密切。相似系數值表明樣本和變數間的相似程度。

（1）距離系數

常採用歐幾里得絕對距離，其中i樣品與j樣品距離d_ij為

區域地下水功能可持續性評價理論與方法研究

d_ij越小，表示i，j樣品越相似。

（2）相似系數

常見的相似系數有夾角餘弦和相關系數，計算公式為

1）夾角餘弦

區域地下水功能可持續性評價理論與方法研究

在式（4-20）中：-1≤cosθ_ij≤1。

2）相關系數

區域地下水功能可持續性評價理論與方法研究

式中：d_ij為i樣品與j樣品的歐幾里得距離；cosθ_ij為i樣品與j樣品的相似系數；r_ij為i樣品與j樣品的相關系數；x_ik為i樣品第k個因子的實測值或標准化值；x_jk為j樣品第k個因子的實測值或標准化值；

為i樣品第k個因子的均值，

；

為j樣品第k個因子的均值，

；n為樣品的數目；k為因子（變數）數。

3.聚類

在選定相似性統計量之後，根據計算結果構成距離或相似性系數矩陣（n×n），然後通過一定的方法把n個樣品組合成不同等級的分類單位，對類進行並類，即將最相似的樣品歸為一組，然後，把次相似的樣品歸為分類級別較高的組。聚類主要有直接聚類法、距離聚類法（最短距離聚類法、最遠距離聚類法）。

（1）直接聚類法

直接聚類法，是根據距離或相似系數矩陣的結構一次並類得到結果，是一種簡便的聚類方法。它首先把各個分類對象單獨視為一類，然後根據距離最小或相似系數最大的原則，依次選出一對分類對象，並成新類。如果一對分類對象正好屬於已歸的兩類，則把這兩類並為一類。每一次歸並，都劃去該對象所在的列與列序相同的行。經過n-1次把全部分類對象歸為一類，最後根據歸並的先後順序作出聚類分析譜系圖。

（2）距離聚類法

距離聚類法包括最短距離聚類法和最遠距離聚類法。最短距離聚類法具有空間壓縮性，而最遠距離聚類法具有空間擴張性。這兩種聚類方法關於類之間的距離計算可以用一個統一的公式表示：

區域地下水功能可持續性評價理論與方法研究

當γ=-0.5時，式（4-22）計算類之間的距離最短；當γ=0.5時，式（4-22）計算類之間的距離最遠。

最短、最遠距離法，是在原來的n×n距離矩陣的非對角元素中找出d_pq=min（d_ij）或d_pq=max（d_ij），把分類對象G_p和G_q歸並為一新類G_r，然後按計算公式：

d_pq=min（d_pk，d_qk）（k≠ p，q） （4-23）

d_pq=max（d_pk，d_qk）（k≠ p，q） （4-24）

計算原來各類與新類之間的距離，這樣就得到一個新的（n-1）階的距離矩陣；再從新的距離矩陣中選出最小或最大的d_ij，把G_i和G_j歸並成新類；再計算各類與新類的距離，直至各分類對象被歸為一類為止。最後綜合整個聚類過程，作出最短距離或最遠距離聚類譜系圖（圖4-1）。

圖4-1 地下水質量評價的聚類譜系圖

（二）模糊聚類法

模糊聚類法是普通聚類方法的一種拓展，它是在聚類方法中引入模糊概念形成的。該方法評價地下水質量的主要步驟，包括數據標准化、標定和聚類3個方面（付雁鵬等，1987）。

1.數據標准化

在進行聚類過程中，由於所研究的各個變數絕對值不一樣，所以直接使用原始數據進行計算就會突出絕對值大的變數，而降低絕對值小的變數作用，特別是在進行模糊聚類分析中，模糊運算要求必須將數據壓縮在［0，1］之間。因此，模糊聚類計算的首要工作是解決數據標准化問題。數據標准化的方法見系統聚類分析法。

2.標定與聚類

所謂標定就是計算出被分類對象間的相似系數r_ij，從而確定論域集U上的模糊相似關系R_ij。相似系數的求取，與系統聚類分析法相同。

聚類就是在已建立的模糊關系矩陣R_ij上，給出不同的置信水平λ（λ∈［0，1］）進行截取，進而得到不同的分類。

聚類方法較多，主要有基於模糊等價關系基礎上的聚類與基於最大樹的聚類。

（1）模糊等價關系方法

所謂模糊等價關系，是指具有自反性（r_ii=1）、對稱性（r_ij=r_ji）與傳遞性（R·R⊆R）的模糊關系。

基於模糊等價關系的模糊聚類分析方法的基本思想是：由於模糊等價關系R是論域集U與自己的直積U×U上的一個模糊子集，因此可以對R進行分解，當用λ-水平對R作截集時，截得的U×U的普通子集R_λ就是U上的一個普通等價關系，也就是得到了關於U中被分類對象元素的一種。當λ由1下降到0時，所得的分類由細變粗，逐漸歸並，從而形成一個動態聚類譜系圖（徐建華，1994）。此類分析方法的具體步驟如下。

第一步：模糊相似關系的建立，即計算各分類對象之間相似性統計量。

第二步：將模糊相似關系R改造為模糊等價關系R′。模糊等價關系要求滿足自反性、對稱性與傳遞性。一般而言，模糊相似關系滿足自反性和對稱性，但不滿足傳遞性。因此，需要採用傳遞閉合的性質將模糊相似關系改造為模糊等價關系。改造的方法是將相似關系R自乘，即

R²=R·R

R⁴=R²·R²

︙

這樣計算下去，直到：R^2k=R^k·R^k=R^k，則R′=R^k便是一個模糊等價關系。

第三步：在不同的截集水平下進行聚類。

（2）最大樹聚類方法

基於最大樹的模糊聚類分析方法的基本思路是：最大樹是一個不包含迴路的連通圖（圖4-2）；選取λ水平對樹枝進行截取，砍去權重低於λ 的枝，形成幾個孤立的子樹，每一棵子樹就是一個類的集合。此類分析方法的具體步驟如下。

圖4-2 最大聚類支撐樹圖

第一步：計算分類對象之間的模糊相似性統計量r_ij，構建最大樹。

以所有被分類的對象為頂點，當兩點間r_ij不等於0時，兩點間可以用樹干連接，這種連接是按r_ij從大到小的順序依次進行的，從而構成最大樹。

第二步：由最大樹進行聚類分析。

選擇某一λ值作截集，將樹中小於λ值的樹干砍斷，使相連的結點構成一類，即子樹，當λ由1到0時，所得到的分類由細變粗，各結點所代表的分類對象逐漸歸並，從而形成一個動態聚類譜系圖。

在聚類方法中，模糊聚類法比普通聚類法有較大的突破，簡化了運算過程，使聚類法更易於掌握。

（三）灰色聚類法

灰色聚類是根據不同聚類指標所擁有的白化數，按幾個灰類將聚類對象進行歸納，以判斷該聚類對象屬於哪一類。

灰色聚類應用於地下水水質評價中，是把所考慮的水質分析點作為聚類對象，用i表示（i=1，2，…，n）；把影響水質的主要因素作為聚類指標，用j表示（j=1，2，…，m），把水質級別作為聚類灰數（灰類），用k表示（k=1，2，3）即一級、二級、三級3個灰類（羅定貴等，1995）。

灰色聚類的主要步驟：確定聚類白化數、確定各灰色白化函數f_jk、求標定聚類權重η_jk、求聚類系數和按最大原則確定聚類對象分類。

1.確定聚類白化數

當各灰類白化數在數量上相差懸殊時，為保證各指標間的可比性與等效性，必須進行白化數的無量綱化處理。即給出第i個聚類對象中第j個聚類指標所擁有的白化數，i=1，2，…，n；j=1，2，…，m。

2.確定各灰色白化函數

建立滿足各指標、級別區間為最大白化函數值（等於1），偏離此區間愈遠，白化函數愈小（趨於0）的功效函數f_ij（x）。根據監測值C_ki，可在圖上（圖4-3）解析出相應的白化函數值f_jk（C_ik），j=1，2，…，m；k=1，2，3。

3.求標定聚類權重

根據式（4-25），計算得出聚類權重η_jk的矩陣（n×m）。

區域地下水功能可持續性評價理論與方法研究

式中：η_jk為第j個指標對第k個灰類的權重；λ_jk為白化函數的閾值（根據標准濃度而定）。

圖4-3 白化函數圖

註：圖4-3白化函數f（x）∈［0，1］，具有下述特點：①平頂部分，表示該量的最佳程度。這部分的值為最佳值，即系數（權）為1，f（x）=max=1（峰值），x∈［x₂，x₃］。②白化函數是單調變化的，左邊部分f（x）=L（x），單調增，x∈（x₁，x₂］，稱為白化的左支函數；右邊部分f（x）=R（x），單調減，x∈［x₃，x₄），稱為白化的右支函數。③白化函數左右支函數對稱。④白化函數，為了簡便，一般是直線。⑤白化函數的起點和終點，一般來說是人為憑經驗確定。

4.求聚類系數

σ_ik=∑f_jk（d_ij）η_jk （4-26）

式中：σ_ik為第i個聚類對象屬於第k個灰類的系數，i=1，2，…，n；k=1，2，3。

5.按最大原則確定聚類對象分類

由σ_ik構造聚類向量矩陣，行向量最大者，確定k樣品屬於j級對應的級別。

用灰色聚類方法進行地下水水質評價，能最大限度地避免因人為因素而造成的「失真、失效」現象。

聚類方法計算相對復雜，但是計算結果與地下水質量標准級別對應性明顯，能夠較全面反映地下水質量狀況，也是較高層次定量研究地下水質量的重要方法。