三種降維分析方法的異同

㈠ 論述數學分析降維和換元思想

在質上沒有區別，都需要經過數學轉換。
降維主要表現在空間維度的變化，從高到低。
換元主要是空間映射關系的改變，有時可以起到降維的作用。
例如：
xy*xy+xy=1，換元後可以變成 x*x+x=1

㈡ 主成分分析和層次分析法的區別和聯系

層次分析法：

主成分分析和層次分析兩者計算權重的不同，AHP層次分析法是一種定性和定量的計算權重的研究方法，採用兩兩比較的方法，建立矩陣，利用了數字大小的相對性，數字越大越重要權重會越高的原理，最終計算得到每個因素的重要性。

主成分分析

（1）方法原理及適用場景

主成分分析是對數據進行濃縮，將多個指標濃縮成為幾個彼此不相關的概括性指標（主成分），從而達到降維的目的。主成分分析可同時計算主成分權重及指標權重。

（2）操作步驟

使用SPSSAU【進階方法-主成分分析】。

如果計算主成分權重，需要用到方差解釋率。具體加權處理方法為：方差解釋率除累積方差解釋率。

比如本例中，5個指標共提取了2個主成分：

主成分1的權重：45.135%/69.390%=65.05%

主成分2的權重：24.254%/69.390%=34.95%

如果是計算指標權重，可直接查看「線性組合系數及權重結果表格」，SPSSAU自動輸出了各指標權重佔比結果。其計算原理分為三步：

第一：計算線性組合系數矩陣，公式為：loading矩陣/Sqrt(特徵根)，即載荷系數除以對應特徵根的平方根；

第二：計算綜合得分系數，公式為：累積（線性組合系數*方差解釋率）/累積方差解釋率，即上一步中得到的線性組合系數分別與方差解釋率相乘後累加，並且除以累積方差解釋率；

第三：計算權重，將綜合得分系數進行歸一化處理即得到各指標權重值。

㈢ 主成分分析法和聚類分析法的區別

聚類分析法是理想的多變數統計技術，主要有分層聚類法和迭代聚類法。 聚類分析也稱群分析、點群分析，是研究分類的一種多元統計方法。
指標（變數）之間存在程度不同的相似性（親疏關系——以樣品間距離衡量）。於是根據一批樣品的多個觀測指標，具體找出一些能夠度量樣品或指標之間相似程度的統計量，以這些統計量為劃分類型的依據。把一些相似程度較大的樣品（或指標）聚合為一類，把另外一些彼此之間相似程度較大的樣品（或指標）又聚合為另一類，直到把所有的樣品（或指標）聚合完畢，這就是分類的基本思想。 在聚類分析中，通常我們將根據分類對象的不同分為Q型聚類分析和R型聚類分析兩大類。
R型聚類分析是對變數進行分類處理，Q型聚類分析是對樣本進行分類處理。
R型聚類分析的主要作用是： 1、不但可以了解個別變數之間的關系的親疏程度，而且可以了解各個變數組合之間的親疏程度。
2、根據變數的分類結果以及它們之間的關系，可以選擇主要變數進行回歸分析或Q型聚類分析。

㈣ 主成份分析和因子分析的區別

因子分析與主成分分析的異同點:
都對原始數據進行標准化處理; 都消除了原始指標的相關性對綜合評價所造成的信息重復的影響; 構造綜合評價時所涉及的權數具有客觀性; 在信息損失不大的前提下，減少了評價工作量
公共因子比主成分更容易被解釋; 因子分析的評價結果沒有主成分分析准確; 因子分析比主成分分析的計算工作量大

主成分分析僅僅是變數變換，而因子分析需要構造因子模型。
主成分分析:原始變數的線性組合表示新的綜合變數，即主成分；
因子分析：潛在的假想變數和隨機影響變數的線性組合表示原始變數。

㈤ 因子分析法和主成分分析法的區別與聯系是什麼

聯系:因子分析法和主成分分析法都是統計分析方法，都要對變數標准化，並找出相關矩陣。區別:在主成分分析中，最終確定的新變數是原始變數的線性組合，因子分析是要利用少數幾個公共因子去解釋較多個要觀測變數中存在的復雜關系。
1.因子分析法通過正交變換，將一組可能具有相關性的變數轉換為一組線性不相關的變數，稱為主成分。它主要用於市場研究領域。在市場研究中，研究人員關注一些研究指標的整合或組合。這些概念通常通過分數來衡量。人口學、數量地理學、分子動力學模擬、數學建模、數學分析等學科。因子分析和主成分分析都是統計分析方法，都需要對變數進行標准化，找出相關矩陣。
2.因子分析可以在許多變數中發現隱藏的代表性因素。主成分分析的原理是嘗試將原始變數重新組合成一組新的獨立綜合變數。因子分析在主成分分析的基礎上增加了一個旋轉函數。這種輪換的目的是更容易地命名和解釋因素的含義。如果研究的重點是指標與分析項目之間的對應關系，或者想要對得到的指標進行命名，建議使用因子分析。
3.主成分分析法是根據實際需要，盡量選取盡可能少的求和變數，以反映原始變數的信息。這種統計方法稱為主成分分析或主成分分析，這也是一種處理降維的數學方法。主成分分析試圖用一套新的不相關的綜合指標取代原有指標。因子分析是社會研究的有力工具，但它不能確定一項研究中有多少因素。當研究中選擇的變數發生變化時，因素的數量也會發生變化。
拓展資料:霍特林將這種方法推廣到隨機向量的情況。信息的大小通常由方差或方差的平方和來衡量。因子分析最早由英國心理學家C.E.斯皮爾曼提出。他發現學生在不同科目的成績之間有一定的相關性。一門學科成績好的學生往往在其他學科成績更好，因此他推測是否有一些潛在的共同因素或一些一般的智力條件影響學生的學業成績。

㈥ 成分分析法和因子分析法的主要區別

主成分分析和因子分析有十大區別： 
1.原理不同：成分分析基本原理：利用降維（線性變換)的思想，在損失很少信息的前提下把多個指標轉化為幾個不相關的綜合指標（主成分),即每個主成分都是原始變數的線性組合,且各個主成分之間互不相關,使得主成分比原始變數具有某些更優越的性能（主成分必須保留原始變數90%以上的信息），從而達到簡化系統結構，抓住問題實質的目的。  因子分析基本原理：利用降維的思想，由研究原始變數相關矩陣內部的依賴關系出發，把一些具有錯綜復雜關系的變數表示成少數的公共因子和僅對某一個變數有作用的特殊因子線性組合而成。就是要從數據中提取對變數起解釋作用的少數公共因子（因子分析是主成分的推廣，相對於主成分分析，更傾向於描述原始變數之間的相關關系） 
2.線性表示方向不同：因子分析是把變數表示成各公因子的線性組合；而主成分分析中則是把主成分表示成各變數的線性組合。 
3.假設條件不同：成分分析不需要有假設(assumptions),  因子分析：需要一些假設。因子分析的假設包括：各個共同因子之間不相關，特殊因子（specificfactor）之間也不相關，共同因子和特殊因子之間也不相關。  
4.求解方法不同：成分分析方法從協方差陣出發（協方差陣已知），從相關陣出發（相關陣R已知），採用的方法只有主成分法。  （實際研究中，總體協方差陣與相關陣是未知的，必須通過樣本數據來估計） 注意事項：由協方差陣出發與由相關陣出發求解主成分所得結果不一致時，要恰當的選取某一種方法；一般當變數單位相同或者變數在同一數量等級的情況下，可以直接採用協方差陣進行計算；對於度量單位不同的指標或是取值范圍彼此差異非常大的指標，應考慮將數據標准化，再由協方差陣求主成分；實際應用中應該盡可能的避免標准化，因為在標准化的過程中會抹殺一部分原本刻畫變數之間離散程度差異的信息。此外，最理想的情況是主成分分析前的變數之間相關性高，且變數之間不存在多重共線性問題(會出現最小特徵根接近0的情況)；  求解因子載荷的方法：主成分法，主軸因子法，極大似然法，最小二乘法，a因子提取法。
5.主成分和因子的變化不同：成分分析當給定的協方差矩陣或者相關矩陣的特徵值唯一時，主成分一般是固定的獨特的；  因子分析：因子不是固定的，可以旋轉得到不同的因子。 
6.因子數量與主成分的數量：成分分析主成分的數量是一定的，一般有幾個變數就有幾個主成分（只是主成分所解釋的信息量不等），實際應用時會根據碎石圖提取前幾個主要的主成分。  因子分析：因子個數需要分析者指定（SPSS和sas根據一定的條件自動設定，只要是特徵值大於1的因子主可進入分析），指定的因子數量不同而結果也不同； 
7.解釋重點不同：成分分析重點在於解釋個變數的總方差，  因子分析：則把重點放在解釋各變數之間的協方差。  
8.演算法上的不同：成分分析協方差矩陣的對角元素是變數的方差； 因子分析：所採用的協方差矩陣的對角元素不在是變數的方差，而是和變數對應的共同度（變數方差中被各因子所解釋的部分）
9.優點不同：因子分析可以使用旋轉技術，使得因子更好的得到解釋，因此在解釋主成分方面因子分析更占優勢；其次因子分析不是對原有變數的取捨，而是根據原始變數的信息進行重新組合，找出影響變數的共同因子，化簡數據； 主成分分析： 第一：如果僅僅想把現有的變數變成少數幾個新的變數（新的變數幾乎帶有原來所有變數的信息）來進入後續的分析，則可以使用主成分分析，不過一般情況下也可以使用因子分析； 第二：通過計算綜合主成分函數得分，對客觀經濟現象進行科學評價； 第三：它在應用上側重於信息貢獻影響力綜合評價。  第四：應用范圍廣，主成分分析不要求數據來自正態分布總體，其技術來源是矩陣運算的技術以及矩陣對角化和矩陣的譜分解技術，因而凡是涉及多維度問題，都可以應用主成分降維； 
10.應用場景不同：成分分析可以用於系統運營狀態做出評估，一般是將多個指標綜合成一個變數，即將多維問題降維至一維，這樣才能方便排序評估；  此外還可以應用於經濟效益、經濟發展水平、經濟發展競爭力、生活水平、生活質量的評價研究上；  主成分還可以用於和回歸分析相結合，進行主成分回歸分析，甚至可以利用主成分分析進行挑選變數，選擇少數變數再進行進一步的研究。  一般情況下主成分用於探索性分析，很少單獨使用，用主成分來分析數據，可以讓我們對數據有一個大致的了解。
文章來於成分分析：http://www.femtoanalysis.com，轉載請註明出處

㈦ 探索性因子分析法的差異

探索性因子分析和驗證性因子分析的差異之處
1.基本思想不同
因子分析的基本思想是要尋找公共因子，以達到降維的目的。探索性因子分析主要是為了找出影響觀測變數的因子個數，以及各個因子和各個觀測變數之間的相關程度，以試圖揭示一套相對比較大的變數的內在結構。研究者的假定是每個指標變數都與某個因子匹配，而且只能通過因子載荷憑知覺推斷數據的因子結構。而驗證性因子分析的主要目的是決定事前定義因子的模型擬合實際數據的能力，以試圖檢驗觀測變數的因子個數和因子載荷是否與基於預先建立的理論的預期一致。指標變數是基於先驗理論選出的，而因子分析是用來看它們是否如預期的一樣。其先驗假設是每個因子都與一個具體的指示變數子集對應，並且至少要求預先假設模型中因子的數目，但有時也預期哪些變數依賴哪個因子。
2.應用前提不同 探索性因子分析沒有先驗信息，而驗證性因子分析有先驗信息。探索性因子分析是在事先不知道影響因子的基礎上，完全依據樣本數據，利用統計軟體以一定的原則進行因子分析，最後得出因子的過程。
在進行探索性因子分析之前，不必知道要用幾個因子，以及各因子和觀測變數之間的關系。在進行探索性因子分析時，由於沒有先驗理論，只能通過因子載荷憑知覺推斷數據的因子結構。上述數學模型中的公共因子數m 在分析前並未確定，而是在分析過程中視中間結果而決定，各個公共因子ξi統一地規定為均影響每個觀測變數xi。在管理研究中，如僅僅從數據出發，很難得到科學的結果，甚至可能與已有的理論或經驗相悖。因此，探索性因子分析更適合於在沒有理論支持的情況下對數據的試探性分析。這就需要用驗證性因子分析來做進一步檢驗。而驗證性因子分析則是基於預先建立的理論，要求事先假設因子結構，其先驗假設是每個因子都與一個具體的指示變數子集對應，以檢驗這種結構是否與觀測數據一致。也就是在上述數學模型中，首先要根據先驗信息判定公共因子數m，同時還要根據實際情況將模型中某些參數設定為某一定值。這樣，驗證性因子分析也就充分利用了先驗信息，在已知因子的情況下檢驗所搜集的數據資料是否按事先預定的結構方式產生作用。
3.理論假設不同 探索性因子分析的假設主要包括：①所有的公共因子都相關(或都不相關)；②所有的公共因子都直接影響所有的觀測變數；③ 特殊(唯一性)因子之間相互獨立；④ 所有觀測變數只受一個特殊(唯一性)因子的影響；⑤ 公共因子與特殊因子(唯一性)相互獨立。驗證性因子分析克服了探索性因子分析假設條件約束太強的缺陷，其假設主要包括：① 公共因子之間可以相關，也可以無關；② 觀測變數可以只受一個或幾個公共因子的影響，而不必受所有公共因子的影響；③特殊因子之間可以相關，還可以出現不存在誤差因素的觀測變數；④ 公共因子與特殊因子之間相互獨立。
4.分析步驟不同 探索性因子分析主要有以下七個步驟：① 收集觀測變數：通常採用抽樣的方法，按照實際情況收集觀測變數數據。② 構造相關矩陣：根據相關矩陣可以確定是否適合進行因子分析。③確定因子個數：可根據實際情況事先假定因子個數，也可以按照特徵根大於1的准則或碎石准則來確定因子個數。④ 提取因子：可以根據需要選擇合適的因子提取方法，如主成分方法、加權最小平方法、極大似然法等。⑤ 因子旋轉：由於初始因子綜合性太強，難以找出實際意義，因此一般都需要對因子進行旋轉(常用的旋轉方法有正交旋轉、斜交旋轉等)，以便於對因子結構進行合理解釋。⑥解釋因子結構：可以根據實際情況及負載大小對因子進行具體解釋。⑦計算因子得分：可以利用公共因子來做進一步的研究，如聚類分析、評價等。
而驗證性因子分析主要有以下六個步驟：① 定義因子模型：包括選擇因子個數和定義因子載荷。因子載荷可以事先定為0、或者其它自由變化的常數，或者在一定的約束條件下變化的數(比如與另一載荷相等)。② 收集觀測值：根據研究目的收集觀測值。③獲得相關系數矩陣：根據原始資料數據獲得變數協方差陣。④ 擬合模型：這里需要選擇一種方法(如極大似然估計、漸進分布自由估計等)來估計自由變化的因子載荷。⑤ 評價模型：當因子模型能夠擬合數據時，因子載荷的選擇要使模型暗含的相關矩陣與實際觀測矩陣之間的差異最小。常用的統計參數有：卡方擬合指數(x)、比較擬合指數(CFI)、擬合優度指數(GFI)和估計誤差均方根(RMSEA)。根據Bentler(1990)的建議標准，x/DF≤3.0、CFI≥0.90、GFI≥0.85、RMSE≤0.05，則表明該模型的擬合程度是可接受的。⑥修正模型：如果模型擬合效果不佳，應根據理論分析修正或重新限定約束關系，對模型進行修正，以得到最優模型。
5.主要應用范圍不同 探索性因子分析主要應用於三個方面：①尋求基本結構，解決多元統計分析中的變數間強相關問題；② 數據化簡；③發展測量量表。驗證性因子分析允許研究者將觀察變數依據理論或先前假設構成測量模式，然後評價此因子結構和該理論界定的樣本資料間符合的程度。因此，主要應用於以下三個方面：① 驗證量表的維度或面向性(dimensionality)，或者稱因子結構，決定最有效因子結構；② 驗證因子的階層關系；③ 評估量表的信度和效度。
6.探索性因子分析和驗證性因子分析的正確用法 從上述分析可以看出，探索性因子分析和驗證性 因子分析是因子分析的兩個不可分割的重要組成部分，在管理研究的實際應用中，兩者不能截然分開，只有結合運用，才能相得益彰，使研究更有深度。An-derson，J．C．，Gerbin，D．W 建議，在發展理論的過程中，首先應通過探索性因子分析建立模型，再用驗證提供了發析現模型以驗證和修正的概念和計算工具，其提供的結果為驗證性因子分析建立假設提供了重要的基礎和保證。兩種因子分析缺少任何一個，因子分析都將是不完整的 。一般來說，如果研究者沒有堅實的理論基礎支撐，有關觀測變數內部結構一般先用探索性因子分析，產生一個關於內部結構的理論，再在此基礎上用驗證性因子分析，這樣的做法是比較科學的，但這必須要用兩組分開的數據來做。如果研究者直接把探索性因子分析的結果放到統一數據的驗證性因子分析中，研究者就僅僅是擬合數據，而不是檢驗理論結構。如果樣本容量足夠大的話，可以將數據樣本隨機分成兩半，合理的做法就是先用一半數據做探索性因子分析，然後把分析取得的因子用在剩下的一半數據中做驗證性因子分析。如果驗證性因子分析的擬合效果非常差，那麼還必須用探索性因子分析來找出數據與模型之間的不一致。

㈧ 降維的方法主要有

在分析高維數據時，降維（Dimensionality rection，DR）方法是我們不可或缺的好幫手。

作為數據去噪簡化的一種方法，它對處理大多數現代生物數據很有幫助。在這些數據集中，經常存在著為單個樣本同時收集數百甚至數百萬個測量值的情況。

由於「維度災難」（curse of dimensionality）的存在，很多統計方法難以應用到高維數據上。雖然收集到的數據點很多，但是它們會散布在一個龐大的、幾乎不可能進行徹底探索的高維空間中。

通過降低數據的維度，你可以把這個復雜棘手的問題變得簡單輕松。除去噪音但保存了所關注信息的低維度數據，對理解其隱含的結構和模式很有幫助。原始的高維度數據通常包含了許多無關或冗餘變數的觀測值。降維可以被看作是一種潛在特徵提取的方法。它也經常用於數據壓縮、數據探索以及數據可視化。

雖然在標準的數據分析流程中已經開發並實現了許多降維方法，但它們很容易被誤用，並且其結果在實踐中也常被誤解。

本文為從業者提供了一套有用的指南，指導其如何正確進行降維，解釋其輸出並傳達結果。

技巧1：選擇一個合適的方法

當你想從現有的降維方法中選擇一種進行分析時，可用的降維方法的數量似乎令人生畏。事實上，你不必拘泥於一種方法；但是，你應該意識到哪些方法適合你當前的工作。

降維方法的選擇取決於輸入數據的性質。比如說，對於連續數據、分類數據、計數數據、距離數據，它們會需要用到不同的降維方法。你也應該用你的直覺和相關的領域知識來考慮收集到的數據。通常情況下，觀測可以充分捕獲臨近（或類似）數據點之間的小規模關系，但並不能捕獲遠距離觀測之間的長期相互作用。對數據的性質和解析度的考慮是十分重要的，因為降維方法可以還原數據的整體或局部結構。一般來說，線性方法如主成分分析（Principal Component Analysis, PCA）、對應分析（Correspondence Analysis, CA）、多重對應分析（Multiple Correspondence Analysis, MCA）、經典多維尺度分析（classical multidimensional scaling, cMDS）也被稱為主坐標分析（Principal Coordinate Analysis, PCoA） 等方法，常用於保留數據的整體結構；而非線性方法，如核主成分分析（Kernel Principal Component Analysis, Kernel PCA）、非度量多維尺度分析（Nonmetric Multidimensional Scaling, NMDS）、等度量映射（Isomap）、擴散映射（Diffusion Maps）、以及一些包括t分布隨機嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）在內的鄰近嵌入技術，更適合於表達數據局部的相互作用關系。NE技術不會保留數據點之間的長期相互作用關系，其可視化報告中的非臨近觀測組的排列並沒有參考價值。因此，NE的圖表不應該被用於數據的大規模結構的推測

㈨ 降維分析法概念

這種調查問卷或心理測試很明顯要用因子分析，因為這些被訪者的回答都只是個表象罷了，其實決定他們怎麼回答的是內在的因素，比如人們的自信程度啊等等。
用因子分析，分析出這些潛在的變數後，用這些潛在變數做聚類分析，把被訪者分成幾個群體。

㈩ 統計方法中，有哪些降維方法

七種降維方法：
1、缺失值比率 (Missing Values Ratio)
2、 低方差濾波 (Low Variance Filter)
3、 高相關濾波 (High Correlation Filter)
4、 隨機森林/組合樹 (Random Forests)
5、 主成分分析 (PCA)
6、 反向特徵消除 (Backward Feature Eliminati
7、 前向特徵構造 (Forward Feature Construction)