1. 聚類演算法有哪幾種
聚類分析計算方法主要有： 層次的方法(hierarchical method)、劃分方法(partitioning method)、基於密度的方法(density-based method)、基於網格的方法(grid-based method)、基於模型的方法(model-based method)等。其中，前兩種演算法是利用統計學定義的距離進行度量。
k-means 演算法的工作過程說明如下：首先從n個數據對象任意選擇 k 個對象作為初始聚類中心;而對於所剩下其它對象，則根據它們與這些聚類中心的相似度(距離)，分別將它們分配給與其最相似的(聚類中心所代表的)聚類;然 後再計算每個所獲新聚類的聚類中心(該聚類中所有對象的均值);不斷重復這一過程直到標准測度函數開始收斂為止。一般都採用均方差作為標准測度函數. k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。
其流程如下：
(1)從 n個數據對象任意選擇 k 個對象作為初始聚類中心;
(2)根據每個聚類對象的均值(中心對象)，計算每個對象與這些中心對象的距離;並根據最小距離重新對相應對象進行劃分;
(3)重新計算每個(有變化)聚類的均值(中心對象);
(4)循環(2)、(3)直到每個聚類不再發生變化為止(標准測量函數收斂)。
優點： 本演算法確定的K個劃分到達平方誤差最小。當聚類是密集的，且類與類之間區別明顯時，效果較好。對於處理大數據集，這個演算法是相對可伸縮和高效的，計算的復雜度為 O(NKt)，其中N是數據對象的數目，t是迭代的次數。
缺點：
1. K 是事先給定的，但非常難以選定;
2. 初始聚類中心的選擇對聚類結果有較大的影響。
2. 16種常用的數據分析方法-聚類分析
聚類（Clustering）就是一種尋找數據之間內在結構的技術。聚類把全體數據實例組織成一些相似組，而這些相似組被稱作簇。處於相同簇中的數據實例彼此相同，處於不同簇中的實例彼此不同。
聚類分析定義
聚類分析是根據在數據中發現的描述對象及其關系的信息，將數據對象分組。目的是，組內的對象相互之間是相似的（相關的），而不同組中的對象是不同的（不相關的）。組內相似性越大，組間差距越大，說明聚類效果越好。
聚類效果的好壞依賴於兩個因素：1.衡量距離的方法（distance measurement） 2.聚類演算法（algorithm）
聚類分析常見演算法
K-均值聚類也稱為快速聚類法，在最小化誤差函數的基礎上將數據劃分為預定的類數K。該演算法原理簡單並便於處理大量數據。
K-均值演算法對孤立點的敏感性，K-中心點演算法不採用簇中對象的平均值作為簇中心，而選用簇中離平均值最近的對象作為簇中心。
也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的對象就越少，但這些對象間的共同特徵越多。該聚類方法只適合在小數據量的時候使用，數據量大的時候速度會非常慢。
案例
有20種12盎司啤酒成分和價格的數據，變數包括啤酒名稱、熱量、鈉含量、酒精含量、價格。
問題一：選擇那些變數進行聚類？——採用「R 型聚類」
現在我們有4個變數用來對啤酒分類，是否有必要將4個變數都納入作為分類變數呢？熱量、鈉含量、酒精含量這3個指標是要通過化驗員的辛苦努力來測定，而且還有花費不少成本。
所以，有必要對4個變數進行降維處理，這里採用spss R型聚類（變數聚類），對4個變數進行降維處理。輸出「相似性矩陣」有助於我們理解降維的過程。
4個分類變數各自不同，這一次我們先用相似性來測度，度量標准選用pearson系數，聚類方法選最遠元素，此時，涉及到相關，4個變數可不用標准化處理，將來的相似性矩陣里的數字為相關系數。若果有某兩個變數的相關系數接近1或-1，說明兩個變數可互相替代。
只輸出「樹狀圖」就可以了,從proximity matrix表中可以看出熱量和酒精含量兩個變數相關系數0.903，最大，二者選其一即可，沒有必要都作為聚類變數，導致成本增加。
至於熱量和酒精含量選擇哪一個作為典型指標來代替原來的兩個變數，可以根據專業知識或測定的難易程度決定。（與因子分析不同，是完全踢掉其中一個變數以達到降維的目的。）這里選用酒精含量，至此，確定出用於聚類的變數為：酒精含量，鈉含量，價格。
問題二：20 中啤酒能分為幾類？—— 採用「Q 型聚類」
現在開始對20中啤酒進行聚類。開始不確定應該分為幾類，暫時用一個3-5類范圍來試探。Q型聚類要求量綱相同，所以我們需要對數據標准化，這一回用歐式距離平方進行測度。
主要通過樹狀圖和冰柱圖來理解類別。最終是分為4類還是3類，這是個復雜的過程，需要專業知識和最初的目的來識別。
這里試著確定分為4類。選擇「保存」，則在數據區域內會自動生成聚類結果。
問題三：用於聚類的變數對聚類過程、結果又貢獻么，有用么？——採用「單因素方差分析」
聚類分析除了對類別的確定需討論外，還有一個比較關鍵的問題就是分類變數到底對聚類有沒有作用有沒有貢獻，如果有個別變數對分類沒有作用的話，應該剔除。
這個過程一般用單因素方差分析來判斷。注意此時，因子變數選擇聚為4類的結果，而將三個聚類變數作為因變數處理。方差分析結果顯示，三個聚類變數sig值均極顯著，我們用於分類的3個變數對分類有作用，可以使用，作為聚類變數是比較合理的。
問題四：聚類結果的解釋？——採用」均值比較描述統計「
聚類分析最後一步，也是最為困難的就是對分出的各類進行定義解釋，描述各類的特徵，即各類別特徵描述。這需要專業知識作為基礎並結合分析目的才能得出。
我們可以採用spss的means均值比較過程，或者excel的透視表功能對各類的各個指標進行描述。其中，report報表用於描述聚類結果。對各類指標的比較來初步定義類別，主要根據專業知識來判定。這里到此為止。
以上過程涉及到spss層次聚類中的Q型聚類和R型聚類，單因素方差分析，means過程等，是一個很不錯的多種分析方法聯合使用的案例。
聚類分析的應用
聚類分析是細分市場的有效工具，被用來發現不同的客戶群，並且它通過對不同的客戶群的特徵的刻畫，被用於研究消費者行為，尋找新的潛在市場。
聚類分析被用來對動植物和基因進行分類，以獲取對種群固有結構的認識。
聚類分析可以通過平均消費來鑒定汽車保險單持有者的分組，同時可以根據住宅類型、價值、地理位置來鑒定城市的房產分組。
聚類分析被用來在網上進行文檔歸類。
聚類分析通過分組聚類出具有相似瀏覽行為的客戶，並分析客戶的共同特徵，從而幫助電子商務企業了解自己的客戶，向客戶提供更合適的服務。
3. 多元統計學-聚類分析
1. 應用統計學與R語言實現學習筆記（十）——聚類分析 )
2. 廈門大學-多元統計分析
3. DBSCAN 密度聚類法
4. 四大聚類演算法（KNN、Kmeans、密度聚類、層次聚類）
俗話說，物以類聚，人以群分。聚類在日常生活中，非常常見.
就是將相似的物體，放在一起.
聚類的目的 ——根據已知數據（ 一批觀察個體的許多觀測指標） ， 按照一定的數學公式計算各觀察個體或變數（指標）之間親疏關系的統計量（距離或相關系數等）。 根據某種准則（ 最短距離法、最長距離法、中間距離法、重心法等），使同一類內的差別較小，而類與類之間的差別較大，最終將觀察個體或變數分為若干類。
根據分類的對象可將聚類分析分為：
樣品間親疏程度的測度
研究樣品或變數的親疏程度的數量指標有兩種，一種叫相似系數，性質越接近的變數或樣品，它們的相似系數越接近於1，而彼此無關的變數或樣品它們的相似系數則越接近於0，相似的為一類，不相似的為不同類；另一種叫距離，它是將每一個樣品看作p維空間的一個點，並用某種度量測量點與點之間的距離，距離較近的歸為一類，距離較遠的點屬於不同的類。
變數之間的聚類即R型聚類分析，常用相似系數來測度變數之間的親疏程度。
而樣品之間的聚類即Q型聚類分析，則常用距離來測度樣品之間的親疏程度。
距離
假使每個樣品有p個變數，則每個樣品都可以看成p維空間中的一個點， n個樣品就是p維空間中的n個點，則第i樣品與第j樣品之間的距離可以進行計算。
幾種常用方式度量：
歐式距離 L2（Euclidean distance）--- 常用
馬氏距離（Mahalanobis distance）---協方差矩陣
Minkowski測度（ Minkowski metric）
Canberra測度（Canberra metric）
有了距離衡量度量，我們可以計算兩兩的距離，就得到距離矩陣~
比如：下面用dist 計算距離的方法
定義了距離之後，怎樣找到"合理"的規則，使相似的/距離小的個體聚成一個族群？
考慮所有的群組組合顯然在計算上很難實現，所以一種常用的聚類方法為層次聚類/系統聚類（hierarchical
clustering）
從系統樹圖中可以看出，我們需要度量族群與族群之間的距離，不同的定義方法決定了不同的聚類結果：
計算族群距離的三種方法的比較：
（可以看到都是小小的族群合並在一起，因為讓方差增加最小，傾向與合並小群體）
一般情況，我們得到系統樹，需要對樹進行切割. 如下圖一條條豎線.
層次聚類族群數的選擇：
1、建立n個初始族群，每個族群中只有一個個體
2、計算n個族群間的距離矩陣
3、合並距離最小的兩個族群
4、計算新族群間的距離矩陣。如果組別數為1，轉步驟5；否則轉步驟3
5、繪制系統樹圖
6、選擇族群個數
在層次聚類中，一旦個體被分入一個族群，它將不可再被歸入另一個族群,故現在介紹一個「非層次」的聚類方法——分割法（Partition）。最常用的分割法是k-均值（k-Means）法
k-均值法試圖尋找 個族群 的劃分方式，使得劃分後的族群內方差和（within-group sum of squares，WGSS）最小.
思路也是將相近的樣本,聚在一起，使得組內方差小，組間方差大.
① 選定 個「種子」（Cluster seeds）作為初始族群代表
② 每個個體歸入距離其最近的種子所在的族群
③ 歸類完成後，將新產生的族群的質心定為新的種子
④ 重復步驟2和3，直到不再需要移動
⑤ 選擇不同的k 值，計算WGSS,找到拐點確定最合適的K.
有多種初始種子的選取方法可供選擇：
1、在相互間隔超過某指定最小距離的前提下，隨機選擇k個個體
2、選擇數據集前k個相互間隔超過某指定最小距離的個體
3、選擇k個相互距離最遠的個體
4、選擇k個等距網格點（Grid points），這些點可能不是數據集的點
可以想到，左側的點收斂更快得到全局最優；左側可能聚類效果一般，或者收斂非常慢，得到局部最優.
我們的目標是使得WGSS足夠小，是否應該選取k使得WGSS最小？
我們需要選擇一個使得WGSS足夠小（但不是最小）的k值.（PS: 族群內方差和最小時候，k=n,此時WGSS為0，此時是過擬合問題~）
當我們分部計算k=1,2,3,4,5... 時候，WGSS值，就可以繪制下面碎石圖。及WGSS 隨著k 變化過程。k 越大，WGSS越小.
4. 聚類分析方法有哪些
問題一：什麼是聚類分析？聚類演算法有哪幾種 聚類分析又稱群分析，它是研究（樣品或指標）分類問題的一種統計分析方法。聚類分析起源於
分類學，在古老的分類學中，人們主要依靠經驗和專業知識來實現分類，很少利用數學工具進行
定量的分類。隨著人類科學技術的發展，對分類的要求越來越高，以致有時僅憑經驗和專業知識
難以確切地進行分類，於是人們逐漸地把數學工具引用到了分類學中，形成了數值分類學，之後又
將多元分析的技術引入到數值分類學形成了聚類分析。
聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論
聚類法、聚類預報法等。
聚類分析計算方法主要有如下幾種：分裂法(partitioning methods)：層次法(hierarchical
methods)：基於密度的方法(density-based methods): 基於網格的方法(grid-based
methods): 基於模型的方法(model-based methods)。
問題二：聚類分析方法有什麼好處 5分 聚類分析：將個體（樣品）或者對象（變數）按相似程度（距離遠近）劃分類別，使得同一類中的元素之間的相似性比其他類的元素的相似性更強。目的在於使類間元素的同質性最大化和類與類間元素的異質性最大化。其主要依據是聚到同一個數據集中的樣本應該彼此相似，而屬於不同組的樣本應該足夠不相似。
常用聚類方法：系統聚類法，K-均值法，模糊聚類法，有序樣品的聚類，分解法，加入法。
注意事項：
1. 系統聚類法可對變數或者記錄進行分類，K-均值法只能對記錄進行分類；
2. K-均值法要求分析人員事先知道樣品分為多少類；
3. 對變數的多元正態性，方差齊性等要求較高。
應用領域：細分市場，消費行為劃分，設計抽樣方案等
優點：聚類分析模型的優點就是直觀，結論形式簡明。
缺點：在樣本量較大時，要獲得聚類結論有一定困難。由於相似系數是根據被試的反映來建立反映琺試間內在聯系的指標，而實踐中有時盡管從被試反映所得出的數據中發現他們之間有緊密的關系，但事物之間卻無任何內在聯系，此時，如果根據距離或相似系數得出聚類分析的結果，顯然是不適當的，但是，聚類分析模型本身卻無法識別這類錯誤。
問題三：什麼是聚類分析？ 聚類分析又稱群分析，它是研究（樣品或指標）分類問題的一種統計分析方法。聚類分析起源於
分類學，在古老的分類學中，人們主要依靠經驗和專業知識來實現分類，很少利用數學工具進行
定量的分類。隨著人類科學技術的發展，對分類的要求越來越高，以致有時僅憑經驗和專業知識
難以確切地進行分類，於是人們逐漸地把數學工具引用到了分類學中，形成了數值分類學，之後又
將多元分析的技術引入到數值分類學形成了聚類分析。
聚類分析內容非常豐富，有系統聚類法、有序樣品聚類法、動態聚類法、模糊聚類法、圖論
聚類法、聚類預報法等。
聚類分析計算方法主要有如下幾種：分裂法(partitioning methods)：層次法(hierarchical
methods)：基於密度的方法(density-based methods): 基於網格的方法(grid-based
methods): 基於模型的方法(model-based methods)。
問題四：常用的聚類方法有哪幾種?? 1.k-mean聚類分析 適用於樣本聚類；
2.分層聚類 適用於對變數聚類；
3.兩步搐類 適用於分類變數和連續變數聚類；
4.基於密度的聚類演算法；
5.基於網路的聚類；
6.機器學習中的聚類演算法；
前3種，可用spss簡單操作實現；
問題五：spss聚類分析方法有哪些 首先，k-means你每次算的結果都會不一樣，因為結果跟初始選取的k個點有關
問題六：聚類分析方法是什麼？ 5分 聚類分析：將個體（樣品）或者對象（變數）按相似程度（距離遠近）劃分類別，使得同一類中的元素之間的相似性比其他類的元素的相似性更強。目的在於使類間元素的同質性最大化和類與類間元素的異質性最大化。
問題七：聚類分析的演算法 聚類分析是數據挖掘中的一個很活躍的研究領域，並提出了許多聚類演算法。傳統的聚類演算法可以被分為五類：劃分方法、層次方法、基於密度方法、基於網格方法和基於模型方法。1 劃分方法(PAM:PArtitioning method) 首先創建k個劃分，k為要創建的劃分個數；然後利用一個循環定位技術通過將對象從一個劃分移到另一個劃分來幫助改善劃分質量。典型的劃分方法包括：k-means,k-medoids,CLARA(Clustering LARge Application),CLARANS(Clustering Large Application based upon RANdomized Search).FCM2 層次方法(hierarchical method) 創建一個層次以分解給定的數據集。該方法可以分為自上而下（分解）和自下而上（合並）兩種操作方式。為彌補分解與合並的不足，層次合並經常要與其它聚類方法相結合，如循環定位。典型的這類方法包括：BIRCH(Balanced Iterative Recing and Clustering using Hierarchies) 方法，它首先利用樹的結構對對象集進行劃分；然後再利用其它聚類方法對這些聚類進行優化。CURE(Clustering Using REprisentatives) 方法，它利用固定數目代表對象來表示相應聚類；然後對各聚類按照指定量（向聚類中心）進行收縮。ROCK方法，它利用聚類間的連接進行聚類合並。CHEMALOEN方法，它則是在層次聚類時構造動態模型。3 基於密度的方法，根據密度完成對象的聚類。它根據對象周圍的密度（如DBSCAN）不斷增長聚類。典型的基於密度方法包括：DBSCAN(Densit-based Spatial Clustering of Application with Noise):該演算法通過不斷生長足夠高密度區域來進行聚類；它能從含有雜訊的空間資料庫中發現任意形狀的聚類。此方法將一個聚類定義為一組「密度連接」的點集。OPTICS(Ordering Points To Identify the Clustering Structure):並不明確產生一個聚類，而是為自動交互的聚類分析計算出一個增強聚類順序。。4 基於網格的方法，首先將對象空間劃分為有限個單元以構成網格結構；然後利用網格結構完成聚類。STING(STatistical INformation Grid) 就是一個利用網格單元保存的統計信息進行基於網格聚類的方法。CLIQUE(Clustering In QUEst)和Wave-Cluster 則是一個將基於網格與基於密度相結合的方法。5 基於模型的方法，它假設每個聚類的模型並發現適合相應模型的數據。典型的基於模型方法包括：統計方法COBWEB:是一個常用的且簡單的增量式概念聚類方法。它的輸入對象是採用符號量（屬性-值）對來加以描述的。採用分類樹的形式來創建一個層次聚類。CLASSIT是COBWEB的另一個版本.。它可以對連續取值屬性進行增量式聚類。它為每個結點中的每個屬性保存相應的連續正態分布（均值與方差）；並利用一個改進的分類能力描述方法，即不象COBWEB那樣計算離散屬性（取值）和而是對連續屬性求積分。但是CLASSIT方法也存在與COBWEB類似的問題。因此它們都不適合對大資料庫進行聚類處理.傳統的聚類演算法已經比較成功的解決了低維數據的聚類問題。但是由於實際應用中數據的復雜性，在處理許多問題時，現有的演算法經常失效，特別是對於高維數據和大型數據的......>>
問題八：主成分分析法和聚類分析法的區別
問題九：聚類分析方法具體有哪些應用？可不可以舉個例子？ 比如說現在要把n個產品按產品的m個指標繼續聚類，因為產品可能之前的特色是不一樣的。而這個時候影響產品的因素有m個，不可能一個一個的考慮，那樣是分不出類來的。所以只能對產品的m個指標綜合考慮，採用SPSS中的樣本聚類方法，就可以直接將產品分好類。並且從分析結果還可以看出各類產品的特色分別是什麼。。就是最主要的分類標準是什麼。
聚類分析不僅可以用於樣本聚類，還可以用於變數聚類，就是對m個指標進行聚類。因為有時指標太多，不能全部考慮，需要提取出主要因素，而往往指標之間又有很多相關聯的地方，所以可以先對變數聚類，然後從每一類中選取出一個代表型的指標。這樣就大大減少了指標，並且沒有造成巨大的信息丟失。