聚類分析特徵選取方法

A. 關於聚類分析

1。聚類分析的特點
聚類分析（cluster analysis）是根據事物本身的特性研究個體的一種方法，目的在於將相似的事物歸類。它的原則是同一類中的個體有較大的相似性，不同類的個體差異性很大。這種方法有三個特徵：適用於沒有先驗知識的分類。如果沒有這些事先的經驗或一些國際、國內、行業標准，分類便會顯得隨意和主觀。這時只要設定比較完善的分類變數，就可以通過聚類分析法得到較為科學合理的類別；可以處理多個變數決定的分類。例如，要根據消費者購買量的大小進行分類比較容易，但如果在進行數據挖掘時，要求根據消費者的購買量、家庭收入、家庭支出、年齡等多個指標進行分類通常比較復雜，而聚類分析法可以解決這類問題；聚類分析法是一種探索性分析方法，能夠分析事物的內在特點和規律，並根據相似性原則對事物進行分組，是數據挖掘中常用的一種技術。
這種較成熟的統計學方法如果在市場分析中得到恰當的應用，必將改善市場營銷的效果，為企業決策提供有益的參考。其應用的步驟為：將市場分析中的問題轉化為聚類分析可以解決的問題，利用相關軟體（如SPSS、SAS等）求得結果，由專家解讀結果，並轉換為實際操作措施，從而提高企業利潤，降低企業成本。
2.應用范圍
聚類分析在客戶細分中的應用

消費同一種類的商品或服務時，不同的客戶有不同的消費特點，通過研究這些特點，企業可以制定出不同的營銷組合，從而獲取最大的消費者剩餘，這就是客戶細分的主要目的。常用的客戶分類方法主要有三類：經驗描述法，由決策者根據經驗對客戶進行類別劃分；傳統統計法，根據客戶屬性特徵的簡單統計來劃分客戶類別；非傳統統計方法，即基於人工智慧技術的非數值方法。聚類分析法兼有後兩類方法的特點，能夠有效完成客戶細分的過程。
例如，客戶的購買動機一般由需要、認知、學習等內因和文化、社會、家庭、小群體、參考群體等外因共同決定。要按購買動機的不同來劃分客戶時，可以把前述因素作為分析變數，並將所有目標客戶每一個分析變數的指標值量化出來，再運用聚類分析法進行分類。在指標值量化時如果遇到一些定性的指標值，可以用一些定性數據定量化的方法加以轉化，如模糊評價法等。除此之外，可以將客戶滿意度水平和重復購買機會大小作為屬性進行分類；還可以在區分客戶之間差異性的問題上納入一套新的分類法，將客戶的差異性變數劃分為五類：產品利益、客戶之間的相互作用力、選擇障礙、議價能力和收益率，依據這些分析變數聚類得到的歸類，可以為企業制定營銷決策提供有益參考。
以上分析的共同點在於都是依據多個變數進行分類，這正好符合聚類分析法解決問題的特點；不同點在於從不同的角度尋求分析變數，為某一方面的決策提供參考，這正是聚類分析法在客戶細分問題中運用范圍廣的體現。

聚類分析在實驗市場選擇中的應用

實驗調查法是市場調查中一種有效的一手資料收集方法，主要用於市場銷售實驗，即所謂的市場測試。通過小規模的實驗性改變，以觀察客戶對產品或服務的反應，從而分析該改變是否值得在大范圍內推廣。
實驗調查法最常用的領域有：市場飽和度測試。市場飽和度反映市場的潛在購買力，是市場營銷戰略和策略決策的重要參考指標。企業通常通過將消費者購買產品或服務的各種決定因素（如價格等）降到最低限度的方法來測試市場飽和度。或者在出現滯銷時，企業投放類似的新產品或服務到特定的市場，以測試市場是否真正達到飽和，是否具有潛在的購買力。前述兩種措施由於利益和風險的原因，不可能在企業覆蓋的所有市場中實施，只能選擇合適的實驗市場和對照市場加以測試，得到近似的市場飽和度；產品的價格實驗。這種實驗往往將新定價的產品投放市場，對顧客的態度和反應進行測試，了解顧客對這種價格的是否接受或接受程度；新產品上市實驗。波士頓矩陣研究的企業產品生命周期圖表明，企業為了生存和發展往往要不斷開發新產品，並使之向明星產品和金牛產品順利過渡。然而新產品投放市場後的失敗率卻很高，大致為66%到90%。因而為了降低新產品的失敗率，在產品大規模上市前，運用實驗調查法對新產品的各方面（外觀設計、性能、廣告和推廣營銷組合等）進行實驗是非常有必要的。
在實驗調查方法中，最常用的是前後單組對比實驗、對照組對比實驗和前後對照組對比實驗。這些方法要求科學的選擇實驗和非實驗單位，即隨機選擇出的實驗單位和非實驗單位之間必須具備一定的可比性，兩類單位的主客觀條件應基本相同。
通過聚類分析，可將待選的實驗市場（商場、居民區、城市等）分成同質的幾類小組，在同一組內選擇實驗單位和非實驗單位，這樣便保證了這兩個單位之間具有了一定的可比性。聚類時，商店的規模、類型、設備狀況、所處的地段、管理水平等就是聚類的分析變數。 轉

B. 如何運用聚類分析法

聚類分析法是理想的多變數統計技術，主要有分層聚類法和迭代聚類法。聚類通過把目標數據放入少數相對同源的組或「類」（cluster）里。分析表達數據，（1）通過一系列的檢測將待測的一組基因的變異標准化，然後成對比較線性協方差。（2）通過把用最緊密關聯的譜來放基因進行樣本聚類，例如用簡單的層級聚類（hierarchical clustering）方法。這種聚類亦可擴展到每個實驗樣本，利用一組基因總的線性相關進行聚類。（3）多維等級分析（multidimensional scaling analysis,MDS）是一種在二維Euclidean 「距離」中顯示實驗樣本相關的大約程度。（4）K-means方法聚類，通過重復再分配類成員來使「類」內分散度最小化的方法。

聚類方法有兩個顯著的局限：首先，要聚類結果要明確就需分離度很好（well-separated）的數據。幾乎所有現存的演算法都是從互相區別的不重疊的類數據中產生同樣的聚類。但是，如果類是擴散且互相滲透，那麼每種演算法的的結果將有點不同。結果，每種演算法界定的邊界不清，每種聚類演算法得到各自的最適結果，每個數據部分將產生單一的信息。為解釋因不同演算法使同樣數據產生不同結果，必須注意判斷不同的方式。對遺傳學家來說，正確解釋來自任一演算法的聚類內容的實際結果是困難的（特別是邊界）。最終，將需要經驗可信度通過序列比較來指導聚類解釋。

第二個局限由線性相關產生。上述的所有聚類方法分析的僅是簡單的一對一的關系。因為只是成對的線性比較，大大減少發現表達類型關系的計算量，但忽視了生物系統多因素和非線性的特點。

從統計學的觀點看，聚類分析是通過數據建模簡化數據的一種方法。傳統的統計聚類分析方法包括系統聚類法、分解法、加入法、動態聚類法、有序樣品聚類、有重疊聚類和模糊聚類等。採用k-均值、k-中心點等演算法的聚類分析工具已被加入到許多著名的統計分析軟體包中，如SPSS、SAS等。
從機器學習的角度講，簇相當於隱藏模式。聚類是搜索簇的無監督學習過程。與分類不同，無監督學習不依賴預先定義的類或帶類標記的訓練實例，需要由聚類學習演算法自動確定標記，而分類學習的實例或數據對象有類別標記。聚類是觀察式學習，而不是示例式的學習。
從實際應用的角度看，聚類分析是數據挖掘的主要任務之一。就數據挖掘功能而言，聚類能夠作為一個獨立的工具獲得數據的分布狀況，觀察每一簇數據的特徵，集中對特定的聚簇集合作進一步地分析。
聚類分析還可以作為其他數據挖掘任務（如分類、關聯規則）的預處理步驟。
數據挖掘領域主要研究面向大型資料庫、數據倉庫的高效實用的聚類分析演算法。

聚類分析是數據挖掘中的一個很活躍的研究領域，並提出了許多聚類演算法。
這些演算法可以被分為劃分方法、層次方法、基於密度方法、基於網格方法和
基於模型方法。
1 劃分方法(PAM:PArtitioning method) 首先創建k個劃分，k為要創建的劃分個數；然後利用一個循環
定位技術通過將對象從一個劃分移到另一個劃分來幫助改善劃分質量。典型的劃分方法包括：
k-means,k-medoids,CLARA(Clustering LARge Application),
CLARANS(Clustering Large Application based upon RANdomized Search).
FCM
2 層次方法(hierarchical method) 創建一個層次以分解給定的數據集。該方法可以分為自上
而下（分解）和自下而上（合並）兩種操作方式。為彌補分解與合並的不足，層次合
並經常要與其它聚類方法相結合，如循環定位。典型的這類方法包括：
第一個是;BIRCH(Balanced Iterative Recing and Clustering using Hierarchies) 方法，它首先利用樹的結構對對象集進行劃分；然後再利
用其它聚類方法對這些聚類進行優化。
第二個是CURE(Clustering Using REprisentatives) 方法，它利用固定數目代表對象來表示相應聚類；然後對各聚類按照指定
量（向聚類中心）進行收縮。
第三個是ROCK方法，它利用聚類間的連接進行聚類合並。
最後一個CHEMALOEN，它則是在層次聚類時構造動態模型。
3 基於密度方法，根據密度完成對象的聚類。它根據對象周圍的密度（如
DBSCAN）不斷增長聚類。典型的基於密度方法包括：
DBSCAN(Densit-based Spatial Clustering of Application with Noise):該演算法通過不斷生長足夠高密
度區域來進行聚類；它能從含有雜訊的空間資料庫中發現任意形狀的聚類。此方法將一個聚類定義
為一組「密度連接」的點集。
OPTICS(Ordering Points To Identify the Clustering Structure):並不明確產生一
個聚類，而是為自動交互的聚類分析計算出一個增強聚類順序。。
4 基於網格方法，首先將對象空間劃分為有限個單元以構成網格結構；然後利
用網格結構完成聚類。
STING(STatistical INformation Grid) 就是一個利用網格單元保存的統計信息進行基
於網格聚類的方法。
CLIQUE(Clustering In QUEst)和Wave-Cluster 則是一個將基於網格與基於密度相結合的方
法。
5 基於模型方法，它假設每個聚類的模型並發現適合相應模型的數據。典型的
基於模型方法包括：
統計方法COBWEB:是一個常用的且簡單的增量式概念聚類方法。它的輸入對象是采
用符號量（屬性-值）對來加以描述的。採用分類樹的形式來創建
一個層次聚類。
CLASSIT是COBWEB的另一個版本.。它可以對連續取值屬性進行增量式聚
類。它為每個結點中的每個屬性保存相應的連續正態分布（均值與方差）；並利
用一個改進的分類能力描述方法，即不象COBWEB那樣計算離散屬性（取值）
和而是對連續屬性求積分。但是CLASSIT方法也存在與COBWEB類似的問題。
因此它們都不適合對大資料庫進行聚類處理.

C. 聚類分析法

聚類分析，亦稱群分析或點分析，是研究多要素事物分類問題的數量方法。其基本原理是，根據樣本自身的屬性，用數學方法按照某些相似性或差異性指標，定量地確定樣本之間的親疏關系，並按親疏關系的程度對樣本進行聚類（徐建華，1994）。

聚類分析方法，應用在地下水中，是在各種指標和質量級別標准約束條件下，通過樣品的各項指標監測值綜合聚類，以判別地下水質量的級別。常見的聚類分析方法有系統聚類法、模糊聚類法和灰色聚類法等。

（一）系統聚類法

系統聚類法的主要步驟有：數據標准化、相似性統計量計算和聚類。

1.數據標准化

在聚類分析中，聚類要素的選擇是十分重要的，它直接影響分類結果的准確性和可靠性。在地下水質量研究中，被聚類的對象常常是多個要素構成的。不同要素的數據差異可能很大，這會對分類結果產生影響。因此當分類要素的對象確定之後，在進行聚類分析之前，首先對聚類要素進行數據標准化處理。

假設把所考慮的水質分析點（G）作為聚類對象（有m個），用i表示（i=1，2，…，m）；把影響水質的主要因素作為聚類指標（有n個），用j表示（j=1，2，…，n），它們所對應的要素數據可用表4-3給出。在聚類分析中，聚類要素的數據標准化的方法較多，一般採用標准差法和極差法。

表4-3 聚類對象與要素數據

對於第j個變數進行標准化，就是將x_ij變換為x′_ij。

（1）總和標准化

區域地下水功能可持續性評價理論與方法研究

這種標准化方法所得的新數據x′_ij滿足

區域地下水功能可持續性評價理論與方法研究

（2）標准差標准化

區域地下水功能可持續性評價理論與方法研究

式中：

；

由這種標准化方法所得的新數據x′_ij，各要素的平均值為0，標准差為1，即有

區域地下水功能可持續性評價理論與方法研究

（3）極差標准化

區域地下水功能可持續性評價理論與方法研究

經過這種標准化所得的新數據，各要素的極大值為1，極小值為0，其餘的數值均在［0，1］閉區間內。

上述式中：x_ij為j變數實測值；x_j為j變數的樣本平均值；s_j為樣本標准差。

2.相似性統計量

系統聚類法要求給出一個能反映樣品間相似程度的一個數字指標，需要找到能量度相似關系的統計量，這是系統聚類法的關鍵。

相似性統計量一般使用距離系數和相似系數進行計算。距離系數是把樣品看成多維空間的點，用點間的距離來表示研究對象的緊密關系，距離越小，表明關系越密切。相似系數值表明樣本和變數間的相似程度。

（1）距離系數

常採用歐幾里得絕對距離，其中i樣品與j樣品距離d_ij為

區域地下水功能可持續性評價理論與方法研究

d_ij越小，表示i，j樣品越相似。

（2）相似系數

常見的相似系數有夾角餘弦和相關系數，計算公式為

1）夾角餘弦

區域地下水功能可持續性評價理論與方法研究

在式（4-20）中：-1≤cosθ_ij≤1。

2）相關系數

區域地下水功能可持續性評價理論與方法研究

式中：d_ij為i樣品與j樣品的歐幾里得距離；cosθ_ij為i樣品與j樣品的相似系數；r_ij為i樣品與j樣品的相關系數；x_ik為i樣品第k個因子的實測值或標准化值；x_jk為j樣品第k個因子的實測值或標准化值；

為i樣品第k個因子的均值，

；

為j樣品第k個因子的均值，

；n為樣品的數目；k為因子（變數）數。

3.聚類

在選定相似性統計量之後，根據計算結果構成距離或相似性系數矩陣（n×n），然後通過一定的方法把n個樣品組合成不同等級的分類單位，對類進行並類，即將最相似的樣品歸為一組，然後，把次相似的樣品歸為分類級別較高的組。聚類主要有直接聚類法、距離聚類法（最短距離聚類法、最遠距離聚類法）。

（1）直接聚類法

直接聚類法，是根據距離或相似系數矩陣的結構一次並類得到結果，是一種簡便的聚類方法。它首先把各個分類對象單獨視為一類，然後根據距離最小或相似系數最大的原則，依次選出一對分類對象，並成新類。如果一對分類對象正好屬於已歸的兩類，則把這兩類並為一類。每一次歸並，都劃去該對象所在的列與列序相同的行。經過n-1次把全部分類對象歸為一類，最後根據歸並的先後順序作出聚類分析譜系圖。

（2）距離聚類法

距離聚類法包括最短距離聚類法和最遠距離聚類法。最短距離聚類法具有空間壓縮性，而最遠距離聚類法具有空間擴張性。這兩種聚類方法關於類之間的距離計算可以用一個統一的公式表示：

區域地下水功能可持續性評價理論與方法研究

當γ=-0.5時，式（4-22）計算類之間的距離最短；當γ=0.5時，式（4-22）計算類之間的距離最遠。

最短、最遠距離法，是在原來的n×n距離矩陣的非對角元素中找出d_pq=min（d_ij）或d_pq=max（d_ij），把分類對象G_p和G_q歸並為一新類G_r，然後按計算公式：

d_pq=min（d_pk，d_qk）（k≠ p，q） （4-23）

d_pq=max（d_pk，d_qk）（k≠ p，q） （4-24）

計算原來各類與新類之間的距離，這樣就得到一個新的（n-1）階的距離矩陣；再從新的距離矩陣中選出最小或最大的d_ij，把G_i和G_j歸並成新類；再計算各類與新類的距離，直至各分類對象被歸為一類為止。最後綜合整個聚類過程，作出最短距離或最遠距離聚類譜系圖（圖4-1）。

圖4-1 地下水質量評價的聚類譜系圖

（二）模糊聚類法

模糊聚類法是普通聚類方法的一種拓展，它是在聚類方法中引入模糊概念形成的。該方法評價地下水質量的主要步驟，包括數據標准化、標定和聚類3個方面（付雁鵬等，1987）。

1.數據標准化

在進行聚類過程中，由於所研究的各個變數絕對值不一樣，所以直接使用原始數據進行計算就會突出絕對值大的變數，而降低絕對值小的變數作用，特別是在進行模糊聚類分析中，模糊運算要求必須將數據壓縮在［0，1］之間。因此，模糊聚類計算的首要工作是解決數據標准化問題。數據標准化的方法見系統聚類分析法。

2.標定與聚類

所謂標定就是計算出被分類對象間的相似系數r_ij，從而確定論域集U上的模糊相似關系R_ij。相似系數的求取，與系統聚類分析法相同。

聚類就是在已建立的模糊關系矩陣R_ij上，給出不同的置信水平λ（λ∈［0，1］）進行截取，進而得到不同的分類。

聚類方法較多，主要有基於模糊等價關系基礎上的聚類與基於最大樹的聚類。

（1）模糊等價關系方法

所謂模糊等價關系，是指具有自反性（r_ii=1）、對稱性（r_ij=r_ji）與傳遞性（R·R⊆R）的模糊關系。

基於模糊等價關系的模糊聚類分析方法的基本思想是：由於模糊等價關系R是論域集U與自己的直積U×U上的一個模糊子集，因此可以對R進行分解，當用λ-水平對R作截集時，截得的U×U的普通子集R_λ就是U上的一個普通等價關系，也就是得到了關於U中被分類對象元素的一種。當λ由1下降到0時，所得的分類由細變粗，逐漸歸並，從而形成一個動態聚類譜系圖（徐建華，1994）。此類分析方法的具體步驟如下。

第一步：模糊相似關系的建立，即計算各分類對象之間相似性統計量。

第二步：將模糊相似關系R改造為模糊等價關系R′。模糊等價關系要求滿足自反性、對稱性與傳遞性。一般而言，模糊相似關系滿足自反性和對稱性，但不滿足傳遞性。因此，需要採用傳遞閉合的性質將模糊相似關系改造為模糊等價關系。改造的方法是將相似關系R自乘，即

R²=R·R

R⁴=R²·R²

︙

這樣計算下去，直到：R^2k=R^k·R^k=R^k，則R′=R^k便是一個模糊等價關系。

第三步：在不同的截集水平下進行聚類。

（2）最大樹聚類方法

基於最大樹的模糊聚類分析方法的基本思路是：最大樹是一個不包含迴路的連通圖（圖4-2）；選取λ水平對樹枝進行截取，砍去權重低於λ 的枝，形成幾個孤立的子樹，每一棵子樹就是一個類的集合。此類分析方法的具體步驟如下。

圖4-2 最大聚類支撐樹圖

第一步：計算分類對象之間的模糊相似性統計量r_ij，構建最大樹。

以所有被分類的對象為頂點，當兩點間r_ij不等於0時，兩點間可以用樹干連接，這種連接是按r_ij從大到小的順序依次進行的，從而構成最大樹。

第二步：由最大樹進行聚類分析。

選擇某一λ值作截集，將樹中小於λ值的樹干砍斷，使相連的結點構成一類，即子樹，當λ由1到0時，所得到的分類由細變粗，各結點所代表的分類對象逐漸歸並，從而形成一個動態聚類譜系圖。

在聚類方法中，模糊聚類法比普通聚類法有較大的突破，簡化了運算過程，使聚類法更易於掌握。

（三）灰色聚類法

灰色聚類是根據不同聚類指標所擁有的白化數，按幾個灰類將聚類對象進行歸納，以判斷該聚類對象屬於哪一類。

灰色聚類應用於地下水水質評價中，是把所考慮的水質分析點作為聚類對象，用i表示（i=1，2，…，n）；把影響水質的主要因素作為聚類指標，用j表示（j=1，2，…，m），把水質級別作為聚類灰數（灰類），用k表示（k=1，2，3）即一級、二級、三級3個灰類（羅定貴等，1995）。

灰色聚類的主要步驟：確定聚類白化數、確定各灰色白化函數f_jk、求標定聚類權重η_jk、求聚類系數和按最大原則確定聚類對象分類。

1.確定聚類白化數

當各灰類白化數在數量上相差懸殊時，為保證各指標間的可比性與等效性，必須進行白化數的無量綱化處理。即給出第i個聚類對象中第j個聚類指標所擁有的白化數，i=1，2，…，n；j=1，2，…，m。

2.確定各灰色白化函數

建立滿足各指標、級別區間為最大白化函數值（等於1），偏離此區間愈遠，白化函數愈小（趨於0）的功效函數f_ij（x）。根據監測值C_ki，可在圖上（圖4-3）解析出相應的白化函數值f_jk（C_ik），j=1，2，…，m；k=1，2，3。

3.求標定聚類權重

根據式（4-25），計算得出聚類權重η_jk的矩陣（n×m）。

區域地下水功能可持續性評價理論與方法研究

式中：η_jk為第j個指標對第k個灰類的權重；λ_jk為白化函數的閾值（根據標准濃度而定）。

圖4-3 白化函數圖

註：圖4-3白化函數f（x）∈［0，1］，具有下述特點：①平頂部分，表示該量的最佳程度。這部分的值為最佳值，即系數（權）為1，f（x）=max=1（峰值），x∈［x₂，x₃］。②白化函數是單調變化的，左邊部分f（x）=L（x），單調增，x∈（x₁，x₂］，稱為白化的左支函數；右邊部分f（x）=R（x），單調減，x∈［x₃，x₄），稱為白化的右支函數。③白化函數左右支函數對稱。④白化函數，為了簡便，一般是直線。⑤白化函數的起點和終點，一般來說是人為憑經驗確定。

4.求聚類系數

σ_ik=∑f_jk（d_ij）η_jk （4-26）

式中：σ_ik為第i個聚類對象屬於第k個灰類的系數，i=1，2，…，n；k=1，2，3。

5.按最大原則確定聚類對象分類

由σ_ik構造聚類向量矩陣，行向量最大者，確定k樣品屬於j級對應的級別。

用灰色聚類方法進行地下水水質評價，能最大限度地避免因人為因素而造成的「失真、失效」現象。

聚類方法計算相對復雜，但是計算結果與地下水質量標准級別對應性明顯，能夠較全面反映地下水質量狀況，也是較高層次定量研究地下水質量的重要方法。

D. 四種聚類方法之比較

四種聚類方法之比較
介紹了較為常見的k-means、層次聚類、SOM、FCM等四種聚類演算法，闡述了各自的原理和使用步驟，利用國際通用測試數據集IRIS對這些演算法進行了驗證和比較。結果顯示對該測試類型數據，FCM和k-means都具有較高的准確度，層次聚類准確度最差，而SOM則耗時最長。
關鍵詞:聚類演算法；k-means；層次聚類；SOM；FCM
聚類分析是一種重要的人類行為，早在孩提時代，一個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、數據分析、圖像處理、市場研究、客戶分割、Web文檔分類等[1]。
聚類就是按照某個特定標准(如距離准則)把一個數據集分割成不同的類或簇，使得同一個簇內的數據對象的相似性盡可能大，同時不在同一個簇中的數據對象的差異性也盡可能地大。即聚類後同一類的數據盡可能聚集到一起，不同數據盡量分離。
聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括數據挖掘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同類型的數據，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。
1 聚類演算法的分類
目前，有大量的聚類演算法[3]。而對於具體應用，聚類演算法的選擇取決於數據的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的數據嘗試多種演算法，以發現數據可能揭示的結果。
主要的聚類演算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。
每一類中都存在著得到廣泛應用的演算法，例如：劃分方法中的k-means[7]聚類演算法、層次方法中的凝聚型層次聚類演算法[8]、基於模型方法中的神經網路[9]聚類演算法等。
目前,聚類問題的研究不僅僅局限於上述的硬聚類，即每一個數據只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是將一個數據對象硬性地歸類到某一簇中。目前已有很多關於模糊聚類的演算法被提出，如著名的FCM演算法等。
本文主要對k-means聚類演算法、凝聚型層次聚類演算法、神經網路聚類演算法之SOM,以及模糊聚類的FCM演算法通過通用測試數據集進行聚類效果的比較和分析。
2 四種常用聚類演算法研究
2.1 k-means聚類演算法
k-means是劃分方法中較經典的聚類演算法之一。由於該演算法的效率高，所以在對大規模數據進行聚類時被廣泛應用。目前，許多演算法均圍繞著該演算法進行擴展和改進。
k-means演算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means演算法的處理過程如下：首先，隨機地選擇k個對象，每個對象初始地代表了一個簇的平均值或中心;對剩餘的每個對象，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重復，直到准則函數收斂。通常，採用平方誤差准則，其定義如下：

這里E是資料庫中所有對象的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函數使生成的簇盡可能緊湊獨立，使用的距離度量是歐幾里得距離,當然也可以用其他距離度量。k-means聚類演算法的演算法流程如下：
輸入：包含n個對象的資料庫和簇的數目k；
輸出：k個簇，使平方誤差准則最小。
步驟：
(1) 任意選擇k個對象作為初始的簇中心；
(2) repeat；
(3) 根據簇中對象的平均值，將每個對象(重新)賦予最類似的簇；
(4) 更新簇的平均值，即計算每個簇中對象的平均值；
(5) until不再發生變化。
2.2 層次聚類演算法
根據層次分解的順序是自底向上的還是自上向下的，層次聚類演算法分為凝聚的層次聚類演算法和分裂的層次聚類演算法。
凝聚型層次聚類的策略是先將每個對象作為一個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛採用的簇間距離度量方法如下：

這里給出採用最小距離的凝聚層次聚類演算法流程：
(1) 將每個對象看作一類，計算兩兩之間的最小距離；
(2) 將距離最小的兩個類合並成一個新類；
(3) 重新計算新類與所有類之間的距離；
(4) 重復(2)、(3)，直到所有類最後合並成一類。
2.3 SOM聚類演算法
SOM神經網路[11]是由芬蘭神經網路專家Kohonen教授提出的，該演算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯系。
SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。
演算法流程：
(1) 網路初始化，對輸出層每個節點權重賦初值；
(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
(4) 提供新樣本、進行訓練；
(5) 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
2.4 FCM聚類演算法
1965年美國加州大學柏克萊分校的扎德教授第一次提出了『集合』的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。
FCM演算法是一種以隸屬度來確定每個數據點屬於某個聚類程度的演算法。該聚類演算法是傳統硬聚類演算法的一種改進。

演算法流程：
(1) 標准化數據矩陣；
(2) 建立模糊相似矩陣，初始化隸屬矩陣；
(3) 演算法開始迭代，直到目標函數收斂到極小值；
(4) 根據迭代結果，由最後的隸屬矩陣確定數據所屬的類，顯示最後的聚類結果。
3 四種聚類演算法試驗
3.1 試驗數據
實驗中，選取專門用於測試分類、聚類演算法的國際通用的UCI資料庫中的IRIS[13]數據集，IRIS數據集包含150個樣本數據，分別取自三種不同的鶯尾屬植物setosa、versicolor和virginica的花朵樣本,每個數據含有4個屬性，即萼片長度、萼片寬度、花瓣長度，單位為cm。在數據集上執行不同的聚類演算法，可以得到不同精度的聚類結果。
3.2 試驗結果說明
文中基於前面所述各演算法原理及演算法流程，用matlab進行編程運算，得到表1所示聚類結果。

如表1所示，對於四種聚類演算法，按三方面進行比較：(1)聚錯樣本數：總的聚錯的樣本數，即各類中聚錯的樣本數的和；(2)運行時間：即聚類整個過程所耗費的時間，單位為s；(3)平均准確度：設原數據集有k個類,用ci表示第i類，ni為ci中樣本的個數，mi為聚類正確的個數,則mi/ni為第i類中的精度，則平均精度為：

3.3 試驗結果分析
四種聚類演算法中，在運行時間及准確度方面綜合考慮，k-means和FCM相對優於其他。但是，各個演算法還是存在固定缺點：k-means聚類演算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進一步研究；層次聚類雖然不需要確定分類數，但是一旦一個分裂或者合並被執行，就不能修正，聚類質量受限制；FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入局部最優解；SOM與實際大腦處理有很強的理論聯系。但是處理時間較長，需要進一步研究使其適應大型資料庫。
聚類分析因其在許多領域的成功應用而展現出誘人的應用前景，除經典聚類演算法外，各種新的聚類方法正被不斷被提出。

E. 請教：聚類前的特徵選擇

K-means演算法是很典型的基於距離的聚類演算法，採用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。該演算法認為簇是由距離靠近的對象組成的，因此把得到緊湊且獨立的簇作為最終目標。 k個初始類聚類中心點的選取對聚類結果具。

F. 聚類分析的基本步驟

聚類分析的主要步驟
聚類分析的主要步驟
1.數據預處理，
2.為衡量數據點間的相似度定義一個距離函數，
3.聚類或分組，
4.評估輸出。
數據預處理包括選擇數量，類型和特徵的標度，它依靠特徵選擇和特徵抽取，特徵選擇選擇重要的特徵，特徵抽取把輸入的特徵轉化為一個新的顯著特徵，它們經常被用來獲取一個合適的特徵集來為避免「維數災」進行聚類，數據預處理還包括將孤立點移出數據，孤立點是不依附於一般數據行為或模型的數據，因此孤立點經常會導致有偏差的聚類結果，因此為了得到正確的聚類，我們必須將它們剔除。
既然相類似性是定義一個類的基礎，那麼不同數據之間在同一個特徵空間相似度的衡量對於聚類步驟是很重要的，由於特徵類型和特徵標度的多樣性，距離度量必須謹慎，它經常依賴於應用，例如，通常通過定義在特徵空間的距離度量來評估不同對象的相異性，很多距離度都應用在一些不同的領域，一個簡單的距離度量，如Euclidean距離，經常被用作反映不同數據間的相異性，一些有關相似性的度量，例如PMC和SMC，能夠被用來特徵化不同數據的概念相似性，在圖像聚類上，子圖圖像的誤差更正能夠被用來衡量兩個圖形的相似性。
將數據對象分到不同的類中是一個很重要的步驟，數據基於不同的方法被分到不同的類中，劃分方法和層次方法是聚類分析的兩個主要方法，劃分方法一般從初始劃分和最優化一個聚類標准開始。CrispClustering，它的每一個數據都屬於單獨的類；FuzzyClustering，它的每個數據可能在任何一個類中，CrispClustering和FuzzyClusterin是劃分方法的兩個主要技術，劃分方法聚類是基於某個標准產生一個嵌套的劃分系列，它可以度量不同類之間的相似性或一個類的可分離性用來合並和分裂類，其他的聚類方法還包括基 於密度的聚類，基於模型的聚類，基於網格的聚類。
評估聚類結果的質量是另一個重要的階段，聚類是一個無管理的程序，也沒有客觀的標准來評價聚類結果，它是通過一個類有效索引來評價，一般來說，幾何性質，包括類間的分離和類內部的耦合，一般都用來評價聚類結果的質量，類有效索引在決定類的數目時經常扮演了一個重要角色，類有效索引的最佳值被期望從真實的類數目中獲取，一個通常的決定類數目的方法是選擇一個特定的類有效索引的最佳值，這個索引能否真實的得出類的數目是判斷該索引是否有效的標准，很多已經存在的標准對於相互分離的類數據集合都能得出很好的結果，但是對於復雜的數據集，卻通常行不通，例如，對於交疊類的集合。

G. 模糊聚類分析的常用分類方法

數據分類中，常用的分類方法有多元統計中的系統聚類法、模糊聚類分析等.在模糊聚類分析中，首先要計算模糊相似矩陣，而不同的模糊相似矩陣會產生不同的分類結果;即使採用相同的模糊相似矩陣，不同的閾值也會產生不同的分類結果.「如何確定這些分類的有效性」便成為模糊聚類的要點。
識別研究中的一個重要問題.文獻,把有效性不滿意的原因歸結於數據集幾何結構的不理想.但筆者認為，不同的幾何結構是對實際需要的反映，我們不能排除實際需要而追求所謂的「理想幾何結構」，不理想的分類不應歸因於數據集的幾何結構.針對同一模糊相似矩陣，文獻建立了確定模糊聚類有效性的方法.用固定的顯著性水平，在不同分類的F一統計量和F檢驗臨界值的差中選最大者，即為有效分類.但是，當顯著性水平變化時，此方法的結果也會變化.文獻引進了一種模糊劃分嫡來評價模糊聚類的有效性，並人為規定當兩類的嫡大於一數時，此兩類可合並，通過逐次合並，最終得到有效分類.此方法人為干預較多，當這個規定數不同時，也會得到不同的結果.另外這兩種方法也未比較不同模糊相似矩陣的分類結果. 系統聚類法是基於模糊等價關系的模糊聚類分析法。在經典的聚類分析方法中可用經典等價關系對樣本集X進行聚類。設R是 X上的經典等價關系。對X中的兩個元素x和y，若xRy或(x，y)∈R，則將x和y並為一類，否則x和y不屬於同一類。
相應地，可用X上的模糊等價關系對樣本集X進行模糊聚類。設慒是X上的模糊等價關系，是慒 的隸屬函數。對於任何α∈【0，1】，定義慒 的α截關系 Sα是X上的經典等價關系。根據Sα得到X 的一種聚類,稱為在α水平上的聚類。
應用這種方法,分類的結果與α的取值大小有關。α取值越大,分的類數越多。α小到某一值時,X中的所有樣本歸並為一類。這種方法的優點在於可按實際需要選取α的值，以便得到恰當的分類。
系統聚類法的步驟如下：
①用數字描述樣本的特徵。設被聚類的樣本集為 X={x1，…,xn}。每個樣本均有p種特徵,記作xi=(xi1，…，xip)；i=1，2，…,n；xip表示描述樣本xi的第p個特徵的數。 ②規定樣本之間的相似系數rij(0≤rij≤1；i，j=1，…，n)。rij描述樣本xi與xj之間的差異或相似的程度。rij 越接近於1,表明樣本xi與xj之間的差異越小;rij 越接近於0，表明xi與xj之間的差異越大。rij可用主觀評定或集體評分的方法規定，也可用公式計算，如採用夾角餘弦法、最小最大法、算術平均最小法等。
因為rii=1(xi與自身沒有差異),rij=rji(xi與xj之間的差異等同於xj與xi之間的差異),所以由rij(i，j=1，…，n)可得X上的模糊相似關系。
一般，R不具備可傳遞性，因而R不一定是 X上的模糊等價關系。
③運用合成運算R=R⋅R（或R=R⋅R等）求出最接近相似關系R的模糊等價關系S=R（或R等）。若R已是模糊等價關系，則取S=R。
④選取適當水平α（0≤α≤1）,得到X 的一種聚類。 逐步聚類法是一種基於模糊劃分的模糊聚類分析法。它是預先確定好待分類的樣本應分成幾類，然後按最優化原則進行再分類，經多次迭代直到分類比較合理為止。
在分類過程中可認為某個樣本以某一隸屬度隸屬於某一類，又以另一隸屬度隸屬於另一類。這樣，樣本就不是明確地屬於或不屬於某一類。若樣本集有 n個樣本要分成c類，則它的模糊劃分矩陣為此c×n模糊劃分矩陣有下列特性：①uij∈【0，1】；i=1，…，c；j=1,…，n。②即每一樣本屬於各類的隸屬度之和為1。③即每一類模糊子集都不是空集。

H. 如何對用戶進行聚類分析

需要搜集用戶的哪些特徵？

聚類分析變數選擇的原則是：在哪些變數組合的前提，使得類別內部的差異盡可能的小，即同質性高，類別間的差異盡可能的大，即同質性低，並且變數之間不能存在高度相關。

常用的用戶特徵變數有：

①
人口學變數：如年齡、性別、婚姻、教育程度、職業、收入等。通過人口學變數進行分類，了解每類人口的需求有何差異。

②
用戶目標：如用戶為什麼使用這個產品？為什麼選擇線上購買？了解不同使用目的的用戶的各自特徵，從而查看各類目標用戶的需求。

③
用戶使用場景：用戶在什麼時候，什麼情況下使用這個產品？了解用戶在各類場景下的偏好/行為差異。

④
用戶行為數據：如使用頻率，使用時長，客單價等。劃分用戶活躍等級，用戶價值等級等。

⑤
態度傾向量表：如消費偏好，價值觀等，看不同價值觀、不同生活方式的群體在消費取向或行為上的差異。

需要多少樣本量？

沒有限制，通常情況下與實際應用有關，如果非要加一個理論的限制，通常認為，樣本的個數要大於聚類個數的平方。

①如果需要聚類的數據量較少（<100），那麼三種方法(層次聚類法，K-均值聚類法，兩步聚類法)都可以考慮使用。優先考慮層次聚類法，因為層次聚類法產生的樹狀圖更加直觀形象，易於解釋，並且，層次聚類法提供方法、距離計算方式、標准化方式的豐富程度也是其他兩種方法所無法比擬的。

②如果需要聚類的數據量較大（>1000），應該考慮選擇快速聚類別法或者兩步聚類法進行。

③如果數據量在100～1000之間，理論上現在的計算條件是可能滿足任何聚類方法的要求的，但是結果的展示會比較困難，例如不可能再去直接觀察樹狀圖了。

應用定量方法還是定性方法？

聚類分析是一種定量分析方法，但對聚類分析結果的解釋還需要結合定性資料討論。

1.聚類分析的定義與用途

聚類分析（Cluster Analysis）是一種探索性的數據分析方法，根據指標/變數的數據結構特徵，對數據進行分類，使得類別內部的差異盡可能的小，即同質性高，類別間的差異盡可能的大，即同質性低。

2.聚類分析的方法

①層次聚類法（Hierarchical），也叫系統聚類法。既可處理分類變數，也可處理連續變數，但不能同時處理兩種變數類型，不需要指定類別數。聚類結果間存在著嵌套，或者說層次的關系。

②K-均值聚類法（K-Means Cluster），也叫快速聚類法。針對連續變數，也可處理有序分類變數，運算很快，但需要指定類別數。K-均值聚類法不會自動對數據進行標准化處理，需要先自己手動進行標准化分析。

③兩步聚類法（Two-Step Cluster）：可以同時處理分類變數和連續變數，能自動識別最佳的類別數，結果比較穩定。如果只對連續變數進行聚類，描述記錄之間的距離性時可以使用歐氏（Euclidean）距離，也可以使用對數似然值（Log-likelihood），如果使用前者，則該方法和傳統的聚類方法並無太大區別；但是若進行聚類的還有離散變數，那麼就只能使用對數似然值來表述記錄間的差異性。當聚類指標為有序類別變數時，Two-Step Cluster出來的分類結果沒有K-means cluster的明晰，這是因為K-means演算法假定聚類指標變數為連續變數。

3.聚類分析的步驟

①確定研究目的：研究問題關注點有哪些、是否有先驗分類數…

②問卷編制：態度語句李克特項目、有序類別…

③確定分析變數：問卷變數的類型，連續or分類，有序類別or無序類別、是否納入後台數據，變數間相關性低…

④聚類分析：聚類分析方法選擇、數據標准化方法、聚類類別數確定…

⑤結果檢驗：類別間差異分析、是否符合常理…

⑥聚類結果解釋：類別的命名、類別間的差異、結合定性資料解釋…

I. 一文總結聚類分析步驟！

一、聚類

1.准備工作

（1） 研究目的

聚類分析是根據事物本身的特性研究個體分類的方法，聚類分析的原則是同一類別的個體有較大相似性，不同類別的個體差異比較大。

（2） 數據類型

1）定量：數字有比較意義，比如數字越大代表滿意度越高，量表為典型定量數據。

2）定類：數字無比較意義，比如性別，1代表男，2代表女。

PS： SPSSAU會根據數據類型自動選擇聚類方法。

K-modes聚類： 數據類型僅定類時。

2.上傳數據到SPSSAU

登錄賬號後進入SPSSAU頁面，點擊右上角「上傳數據」，將處理好的數據進行「點擊上傳文件」上傳即可。

3.SPSSAU操作

（1）拖拽分析項

1） SPSSAU進階方法→聚類。

2）檢查

檢查分析項是否都在左側分析框中。

3）進行拖拽

（2）選擇參數

聚類個數： 聚類個數設置為幾類主要以研究者的研究思路為標准，如果不進行設置，SPSSAU默認聚類個數為3，通常情況下，建議設置聚類數量介於3~6個之間。

標准化： 聚類演算法是根據距離進行判斷類別，因此一般需要在聚類之前進行標准化處理，SPSSAU默認是選中進行標准化處理。數據標准化之後，數據的相對大小意義還在（比如數字越大GDP越高），但是實際意義消失了。

保存類別： 分析選擇保存『保存類別』，SPSSAU會生成 新標題 用於標識，也可以右上角「我的數據」處查看到分析後的「聚類類別」。

新標題類似如下：Cluster_********。

4.SPSSAU分析

（1）聚類類別基本情況匯總分析

使用聚類分析對樣本進行分類，使用Kmeans聚類分析方法，從上表可以看出：最終聚類得到4類群體，此4類群體的佔比分別是20.00%, 30.00%, 20.00%, 30.00%。整體來看， 4類人群分布較為均勻，整體說明聚類效果較好。

（2）聚類類別匯總圖分析

上圖可以直觀的看到各個類別所佔百分比，4類群體的佔比分別是20.00%, 30.00%, 20.00%, 30.00%。

（3）聚類類別方差分析差異對比

使用方差分析去探索各個類別的差異特徵，從上表可知：聚類類別群體對於所有研究項均呈現出顯著性(p<0.05),意味著聚類分析得到的4類群體，他們在研究項上的特徵具有明顯的差異性，具體差異性可通過平均值進行對比，並且最終結合實際情況，對聚類類別進行命名處理。

（4）聚類項重要性對比

從上述結果看，所有研究項均呈現出顯著性，說明不同類別之間的特徵有明顯的區別，聚類的效果較好。

（5）聚類中心

5.其它說明

（1）聚類中心是什麼？

聚類中心是聚類類別的中心點情況，比如某類別時年齡對應的聚類中心為20，意味著該類別群體年齡基本在20歲左右。初始聚類中心基本無意義，它是聚類演算法隨機選擇的聚類點，如果需要查看聚類中心情況，需要關注於最終聚類中心。實際分析時聚類中心的意義相對較小，其僅為聚類演算法的計算值而已。

（2）k-prototype聚類是什麼？

如果說聚類項中包括定類項，那麼SPSSAU默認會進行K-prototype聚類演算法（而不是kmeans演算法）。定類數據不能通過數字大小直接分析距離，因而需要使用K-prototype聚類演算法。

（3）聚類分析時SSE是什麼意思？

在進行Kmeans聚類分析時SPSSAU默認輸出誤差平方和SSE值，該值可用於測量各點與中心點的距離情況，理論上是希望越小越好，而且如果同樣的數據，聚類類別越多則SSE值會越小（但聚類類別過多則不便於分析）。

SSE指標可用於輔助判斷聚類類別個數，建議在不同聚類類別數量情況下記錄下SSE值，然後分析SSE值的減少幅度情況，如果發現比如從3個聚類到4個類別時SSE值減少幅度明顯很大，那麼此時選擇4個聚類類別較好。

二、分層聚類

1.准備工作

（1）研究目的

從分析角度上看，聚類分析可分為兩種，一種是按樣本（或個案）聚類，此類聚類的代表是K-means聚類方法；另外一種是按變數（或標題）聚類，此類聚類的代表是分層聚類。

（2）數據類型

2.上傳數據到SPSSAU

登錄賬號後進入SPSSAU頁面，點擊右上角「上傳數據」，將處理好的數據進行「點擊上傳文件」上傳即可。

3.SPSSAU操作

（1）拖拽分析項

1） SPSSAU進階方法→分層聚類。

2）檢查

檢查分析項是否都在左側分析框中。

3）進行拖拽

（2）確定參數

SPSSAU會默認聚類為3類並且呈現表格結果，如果希望更多的類別個數，可自行進行設置。

4.SPSSAU分析

（1）聚類項描述分析

上表格展示總共8個分析項（即8個裁判數據）的基本情況，包括均值，最大或者最小值，中位數等，以便對於基礎數據有個概括性了解。整體上看，8個裁判的打分基本平均在8分以上。

（2）聚類類別分布表分析

總共聚類為3個類別，以及具體分析項的對應關系情況。在上表格中展示出來，上表格可以看出：裁判8單獨作為一類；裁判5，3，7這三個聚為一類；以及裁判1，6，2，4作為一類。

（PS：聚類類別與分析項上的對應關系可以在上表格中得到，同時也可以查看聚類樹狀圖得出更多信息。至於聚類類別分別應該叫做什麼名字，這個需要結合對應有關系情況，自己單獨進行命名。）

（3）聚類樹狀圖分析

上圖為聚類樹狀圖的展示，聚類樹狀圖是將聚類的具體過程用圖示法手法進行展示；最上面一行的數字僅僅是一個刻度單位，代表相對距離大小；一個結點表示一次聚焦過程。

樹狀圖的解讀上，建議單獨畫一條垂直線，然後對應查看分成幾個類別，以及每個類別與分析項的對應關系。比如上圖中，紅色垂直線最終會拆分成3個類別；第1個類別對應裁判8；第2個類別對應裁判5，3，7；第3個類別對應裁判1，6，2，4。

如果是聚為四類；從上圖可看出，明顯的已經不再合適。原因在於垂直線不好區分成四類。也即說明有2個類別本應該在一起更合適（上圖中的裁判1與6/2/4）；但是如果分成4類，此時裁判1會單獨成一類。所以畫垂直線無法區分出類別。因而綜合分析來看，最終聚類為3個類別最為適合。

當然在分析時也可以考慮分成2個類別，此時只需要對應將垂直線移動即可。

5.其它說明

（1）針對分層聚類，需要注意以下幾點：

（2）什麼時候做因子分析後再做聚類分析？

如果題項較多，可先做因子分析，得到每個維度（因子）的數據，再進行聚類。

三、總結

聚類分析廣泛的應用於自然科學、社會科學等領域。在分析時可以比較多次聚類結果，綜合選擇更適合的方案。

以上就是聚類分析步驟匯總，更多干貨請前往官網查看！