pca主成分分析距離計算方法

⑴ 主成分分析(PCA）

主成分分析(PCA)是一種常用的無監督學習方法，這一方法利用正交變換把由現行相關變數表示的觀測數據轉化為少數幾個由線性無關變數表示的數據，線性無關的變數稱為主成分。主成分的個數通常小於原始變數的個數，所以主成分分析屬於姜維方法。主成分分析主要用於發現數據中的基本結構，即數據中變數之間的關系，是數據分析的有力工具，也用於其他機器學習方法的前處理。

統計分析比中，數據的變數之間可能存在相關性，以致增加了分析的難度。於是，考慮由少數幾個不相關的變數來代替相關的變數，用來表示數據，並且要求能夠保留數據中的不部分信息。

主成分分析中，首先對給定數據進行規范化，使得數據每一變數的平均值為0，方差為1,。之後對數據進行正交變換，用來由線性相關表示的數據，通過正交變換變成若干個線性無關的新變數表示的數據。新變數是可能的正交變換中變數的方差和(信息保存)最大的，方差表示在新變數上信息的大小。將新變數一次成為第一主成分，第二主成分等。通過主成分分析，可以利用主成分近似地表示原始數據，這可理解為發現數據的「基本結構」；也可以把數據由少數主成分表示，這可理解為對數據降維。

方差最大的解釋。假設有兩個變數 ，三個樣本點A,B,C。樣本分布在由 軸組成的坐標系中，對坐標系進行旋轉變換，得到新的坐標軸 ，表示新的變數 。坐標值的平方和 表示樣本在變數 上的方差和。主成分分析旨在選取正交變換中方差最大的變數，作為第一主成分，也是是旋轉變換中坐標值的平方和最大的軸。注意到旋轉變換中變換中樣本點到原點距離的平方和 不變，根據勾股定理，坐標值的平方和最大 等價於樣本點到 軸的距離平方和 最小。所以，等價地，主成分分析在旋轉變換中選取離樣本點的距離的平方和最小的軸，作為第一主成分。第二主成分等的選取，在保證與已有坐標軸正交的條件下，類似地進行

假設 是m維隨機變數，其均值是
,
協方差矩陣是

考慮到m維隨機變數 到m維隨機變數 的線性變換

其中

由隨機變數的性質可知

總體主成分的定義 給定式(1)所示的線性變換，如果他們滿足下列條件

設 是m維隨機變數， 是 的協方差矩陣， 的特徵值分別是 ，特徵值對應的單位特徵向量分別是 ，則 的第k主成分是

的第k主成分的方差是

即協方差矩陣 的第k個特徵值

首先求 的第一主成分 ，即求系數向量 。第一主成分的 是在 的條件下， 的所有線性變換中使方差達到最大的

求第一主成分就是求解最優化問題

定義拉格朗日函數

其中 是拉格朗日乘子，將拉格朗日函數對 求導，並令其為0，得

因此 是 的特徵值， 是對應的單位特徵向量。於是目標函數

假設 是 的最大特徵值 對應的單位特徵向量，顯然 與 是最優化問題的解，所以， 構成第一主成分，其方差等於協方差矩陣的最大特徵值

接著求 的第二主成分 ，第二主成分的 是在 且 與 不相關條件下， 的所有線性變換中使達到最大

求第二主成分需參求解約束最優化問題

定義拉格朗日函數

其中 對應拉格朗日乘子。對 求偏導，並令其為0，得

將方程左則乘以 有

此式前兩項為0，且 ，導出 ，因此式成為

由此， 是 的特徵值， 是對應的特徵向量，於是目標函數為

假設 是 的第二大特徵值 的特徵向量，顯然 是以上最優化問題的解。於是 構成第二主成分，其方差等於協方差矩陣的第二大特徵值，

按照上述方法可以求得第一、第二、直到第m個主成分，其系數向量 分別是 的第一、第二、直到m個單位特徵向量， 分別是對應的特徵值。並且，第k主成分的方差等於 的第k個特徵值。

主成分分析的主要目的是降維，所以一般選擇 個主成分（線性無觀變數），使問題得以簡化，並能保留原有變數的大部分信息。這里所說的信息是指原有信息的方差。

對任意正整數 ，考慮正交線性變換

其中 是q的維向量， 是q*m維矩陣，令 的協方差矩陣為

則 的跡 在 時取最大值，其中矩陣 是由正交矩陣A的前q列組成。

這表明，當 的線性變換 在 時，其協方差矩陣 的跡 取得最大值。也就是說，當A取前 的前q個主成分時，能夠最大限度地保留原有變數方差的信息。

以上作為選擇k個主成分的理論依據。具體選擇k的方法，通常利用方差貢獻率。

第k主成分 的方差貢獻率定義為 的方差與所有方差之和的比記作

k個主成分 的累計方差貢獻率定義為k個方差之和和所有方差之和的比

通常取k使得累計方差貢獻率達到規定的百分比以上，例如70%~80%。累計方差貢獻率反映了主成分保留信息的比例，但它不能反映對某個原有變數 保留信息的比例，這時通常利用k個主成分 對原有變數 的貢獻率。

k個主成分 對原有變數 的貢獻率為 , 的相關系數的平方，記作

計算公式如下：

其中， 是隨機變數 的方差，即協方差矩陣 的對角元素。

在實際問題中，不同變數可能有不同的量綱，直接求主成分有時會產生不合理的結果，為了消除這個影響，常常對各個隨機變數實施規范化，使其均值為0，方差為1

設 為隨機變數， 為第i個隨機變數， ，令

其中， 分布是隨機變數 的均值和方差，這時 就是 的規范化隨機變數。

在實際問題中，需要在觀測數據上進行主成分分析，這就是樣本主成分分析。樣本主成分也和總體主成分具體相同的性質。

使用樣本主成分時，一般假設樣本數據是規范化的，即對樣本矩陣如下操作：

其中


樣本協方差矩陣S是中體協方差矩陣 的無偏估計，樣本相關矩陣R是總體相關矩陣的無偏估計，S的特徵值和特徵向量 的特徵值和特徵向量的無偏估計。

傳統的主成分分析通過數據的協方差矩陣或相關矩陣的特徵值分解進行，現在常用的方法是通過數據矩陣的奇異值分解進行。下面介紹數據的協方差矩陣或相關矩陣的分解方法

給定樣本矩陣 ，利用數據的樣本的協方差矩陣或樣本相關矩陣的特徵值分解進行主成分分析

給定樣本矩陣 ，利用數據矩陣奇異值分解進行主成分分析，這里沒有假設k個主成分

對於 維實矩陣A，假設其秩為r, ，則可將矩陣A進行截斷奇異值分解

式 是 矩陣， 是k階對角矩陣， 分別由取A的完全奇異分解的矩陣U，V的前k列， 由完全奇異分解的矩陣 的前k個對角元素得到

定義一個新的 矩陣

的每一列均值為0，

即 等於X的協方差矩陣

主成分分析歸結於求協方差矩陣 的特徵值和對應的單位特徵向量。

假設 的截斷奇異值分解為 ，那麼V 的列向量就是 的單位向量，因此V的列向量就是X的主成分。於是X求X的主成分可以通過 的奇異值來實現

⑵ pca主成分分析是什麼

主成分分析（英語：Principal components analysis，PCA）是一種統計分析、簡化數據集的方法。

它利用正交變換來對一系列可能相關的變數的觀測值進行線性變換，從而投影為一系列線性不相關變數的值，這些不相關變數稱為主成分（Principal Components）。具體地，主成分可以看做一個線性方程，其包含一系列線性系數來指示投影方向。PCA對原始數據的正則化或預處理敏感（相對縮放）。

1、將坐標軸中心移到數據的中心，然後旋轉坐標軸，使得數據在C1軸上的方差最大，即全部n個數據個體在該方向上的投影最為分散。意味著更多的信息被保留下來。C1成為第一主成分。

2、C2第二主成分：找一個C2，使得C2與C1的協方差（相關系數）為0，以免與C1信息重疊，並且使數據在該方向的方差盡量最大。

3、以此類推，找到第三主成分，第四主成分……第p個主成分。p個隨機變數可以有p個主成分。

主成分分析經常用於減少數據集的維數，同時保留數據集當中對方差貢獻最大的特徵。這是通過保留低維主成分，忽略高維主成分做到的。這樣低維成分往往能夠保留住數據的最重要部分。但是，這也不是一定的，要視具體應用而定。由於主成分分析依賴所給數據，所以數據的准確性對分析結果影響很大。

使用統計方法計算PCA

以下是使用統計方法計算PCA的詳細說明。但是請注意，如果利用奇異值分解（使用標準的軟體）效果會更好。

我們的目標是把一個給定的具有M維的數據集X變換成具有較小維度L的數據集Y。現在要求的就是矩陣Y，Y是矩陣XKarhunen–Loève變換。

⑶ 主成分分析（PCA）原理總結

本文深入解析主成分分析（PCA）的核心原理，涵蓋了降維方法、向量投影、矩陣投影、基向量選擇及數量確定等關鍵步驟。

1. 投影概念：向量a在向量b的投影，如圖所示，代表a在b方向的信息。當兩者正交時，無冗餘信息。向量可用基向量e1和e2簡潔表示，矩陣投影則對應特徵向量。

2. 降維實質：通過向量或矩陣的投影，將高維數據映射到低維空間，如N維向量通過基向量變為M維坐標。

3. 基向量策略：選擇基向量的准則在於最小化投影距離和最大化投影方差，如樣本數據中，基向量u1能較好地滿足這兩個標准。

4. 基向量計算：通過最小化樣本投影距離或最大化方差，求得基向量矩陣W，其特徵向量即為降維的基向量。

5. 自動確定基向量數：通過最大特徵值與閾值threshold的關系，確定降維所需基向量的個數。

6. 中心化作用：中心化數據消除平均值影響，簡化協方差矩陣計算，確保結果的准確性。

7. PCA流程：包括數據中心化、協方差矩陣計算、特徵向量提取、降維數確定、樣本映射和新數據集生成。

8. KPCA拓展：對於非線性數據，通過核函數（如徑向基函數）將數據映射到高維空間，再進行PCA處理。

總結：PCA作為非監督學習工具，通過簡單計算實現降維，但可能犧牲部分信息，影響後續分析。理解並掌握這些原理，有助於高效應用PCA進行數據處理。