㈠ 相關分析的方法有哪些
相關分析的主要方法有比較分析法、比攜哪率分析法、因素分析法。
一、比較分析法
比較分析法,是通過對比兩期或連續數期財務報告中的相同指標,確定其增減變動的方向、數額和幅度,來說明企業財務狀況或經營成果變動趨勢的一種方法。採用這種方法,可以分析引起變化的主要原因、變動的性質,並預測企業未來的發展趨勢。
三、因素分析法
因素分析法是依據分析指標與其影響因素的關系,從數量上確運隱拍定各因素對分旁羨析指標影響方向和影響程度的一種方法。因素分析法具體有兩種:連環替代法和差額分析法。
相關分析相關分析是研究現象之間是否存在某種依存關系,並對具體有依存關系的現象探討其相關方向以及相關程度,是研究隨機變數之間的相關關系的一種統計方法。
㈡ 16種常用的數據分析方法-相關分析
相關性分析研究現象之間是否存在某種辯慎依存關系,對具體有依存關系的現象探討相關方向及相關程度。
相關分析是一種簡單易行的測量定量數據之間的關系情況的分析方法。可以分析包括變數間的關系情況以及關系強弱程度等。
如:身高和體重的相關性;降水量與河流水位的相關性;工作壓力與心理健康的相關性等。
相關性種類
客觀事物之間的相關性,大致可歸納為兩大類:
一、函數關系
函數關系是兩個變數的取值存在一個函數來唯一描述。
比如銷售額與銷售量之間的關系,可用函數y=px(y表示銷售額,p表示單價,x表示銷售量)來表示。所以,銷售量和銷售額存在函數關系。
這一類關系,不是我們關注的重點。
二、統計關系
統計關系,指兩事物之間的非一一對應關系,即當變數x取一定值時坦灶仿,另一個變數y雖然不唯一確定,但按某種規律在一定的范圍內發生變化。
比如:子女身高與父母身高、廣告費用與銷售額的關系,是無法用一個函數關系唯一確定其取值的,但這些變數之間確實存在一定的關系。大多數情況下,父母身高越高,子女的身高也就越高;廣告費讓纖用花得越多,其銷售額也相對越多。
這種關系,就叫做統計關系。
按照相關表現形式,又可分為不同的相關類型,詳見下圖:
相關性描述方式
描述兩個變數是否有相關性,常見的方式有3種:
1.相關圖(典型的如散點圖和列聯表等等)
2.相關系數
3.統計顯著性
用可視化的方式來呈現各種相關性,常用散點圖,如下圖:
相關性分析步驟
Step1:相關分析前,首先通過散點圖了解變數間大致的關系情況。
如果變數之間不存在相互關系,那麼在散點圖上就會表現為隨機分布的離散的點,如果存在某種相關性,那麼大部分的數據點就會相對密集並以某種趨勢呈現。
如上圖,展現了平時成績與能力評分之間的關系情況:X增大時,Y會明顯的增大,說明X和Y之間有著正向相關關系。
Step2:計算相關系數
散點圖能夠展現變數之間的關系情況,但不精確。還需要通過相關分析得到相關系數,以數值的方式精準反映相關程度。
相關系數常見有三類,分別是:
Pearson相關系數、
Spearman等級相關系數
Kendall相關系數。
最常使用的是Pearson相關系數;當數據不滿足正態性時,則使用Spearman相關系數,Kendall相關系數用於判斷數據一致性,比如裁判打分。
相關性分析案例
某公司員工的基本情況,數據集含3列,分別為:性別、年齡、工資,
分析主題:希望了解員工年齡和工資水平之間的關系(企業人事部門的讀者可關心一下)。
如圖,用散點圖先觀察2個變的關系。
散點圖顯示2個變數似乎存在一定的相關性,為了得到更准確的結論,接下來要行為更准確的相關分析驗證,讓分析結果更清晰。
1.菜單操作:分析——相關——雙變數
2.結果解讀
原假設:工資與年齡間不存在相關關系
計算結果sig=0.002,即原假設不成立。現實意義為年齡與工資水平有著極顯著的相關關系,也就是說隨著年齡的增加,工資會逐漸下降。
㈢ 統計分析方法有哪幾種
1、對比分析法
對比分析法指通過指標的對比來反映事物數量上的變化,屬於統計分析中常用的方法。常見的對比有橫向對比和縱向對比。
橫向對比指的是不同事物在固定時間上的對比,例如,不同等級的用戶在同一時間購買商品的價格對比,不同商品在同一時間的銷量、利潤率等的對比。
縱向對比指的是同一事物在時間維度上的變化,例如,環比、同比和定基比,也就是本月銷售額與上月銷售額的對比,本年度1月份銷售額與上一年度1月份銷售額的對比,本年度每月銷售額分別與上一年度平均銷售額的對比等。利用對比分析法可以對數據規模大小、水平高低、速度快慢等做出有效的判斷和評價。
2、分組分析法
分組分析法是指根據數據的性質、特徵,按照一定的指標,將數據總體劃分為不同的部分,分析其內部結構和相互關系,從而了解事物的發展規律。
根據指標的性質,分組分析法分為屬性指標分組和數量指標分組。所謂屬性指標代表的是事物的性質、特徵等,如姓名、性別、文化程度等,這些指標無法進行運算;而數據指標代表的數據能夠進行運算,如人的年齡、工資收入等。分組分析法一般都和對比分析法結合使用。
3、預測分析法
預測分析法主要基於當前的數據,對未來的數據變化趨勢進行判斷和預測。預測分析一般分為兩種:一種是基於時間序列的預測,例如,依據以往的銷售業績,預測未來3個月的銷售額;另一種是回歸類預測,即根據指標之間相互影響的因果關系進行預測,例如,根據用戶網頁瀏覽行為,預測用戶可能購買的商品。
4、漏斗分析法
漏斗分析法也叫流程分析法,它的主要目的是專注於某個事件在重要環節上的轉化率,在互聯網行業的應用較普遍。比如,對於信用卡申請的流程,用戶從瀏覽卡片信息,到填寫信用卡資料、提交申請、銀行審核與批卡。
最後用戶激活並使用信用卡,中間有很多重要的環節,每個環節的用戶量都是越來越少的,從而形成一個漏斗。使用漏斗分析法,能使業務方關注各個環節的轉化率,並加以監控和管理,當某個環節的轉換率發生異常時,可以有針對性地優化流程,採取適當的措施來提升業務指標。
5、AB測試分析法
AB 測試分析法其實是一種對比分析法,但它側重於對比A、B兩組結構相似的樣本,並基於樣本指標值來分析各自的差異。
例如,對於某個App的同一功能,設計了不同的樣式風格和頁面布局,將兩種風格的頁面隨機分配給使用者,最後根據用戶在該頁面的瀏覽轉化率來評估不同樣式的優劣,了解用戶的喜好,從而進一步優化產品。
除此之外,要想做好數據分析,讀者還需掌握一定的數學基礎,例如,基本統計量的概念(均值、方差、眾數、中位數等),分散性和變異性的度量指標(極差、四分位數、四分位距、百分位數等),數據分布(幾何分布、二項分布等),以及概率論基礎、統計抽樣、置信區間和假設檢驗等內容,通過相關指標和概念的應用,讓數據分析結果更具專業性。
㈣ 5種相關分析方法
相關分析(Analysis of Correlation)是網站分析中經常使用的分析方法之一。通過對不同特徵或數據間的關系進行分析,發現業務運營中的關鍵影響及驅動因素。並對業務的發展進行預測。本篇文章將介紹5種常用的分析方法。在開始介紹相關分析之前,需要特別說明的是相關關系不等於因果關系。
相關分析的方法很多,初級的方法可以快速發現數據之間的關系,如正相關,負相關或不相關。中級的方法可以對數據間關系的強弱進行度量,如完全相關,不完全相關等。高級的方法可以將數據間的關系轉化為模型,並通過模型對未來的業務發展進行預測。下面我們以一組廣告的成本數據和曝光量數據對每一種相關分析方法進行介紹。
以下是每日廣告曝光量和費用成本的數據,每一行代表一天中的花費和獲得的廣告曝光數量。憑經驗判斷,這兩組數據間應該存在聯系,但僅通過這兩組數據我們無法證明這種關系真實存在,也無法對這種關系的強度進行度量。因此我們希望通過相關分析來找出這兩組數據之間的關系,並對這種關系進度度量。
1,圖表相關分析(折線圖及散點圖)
第一種相關分析方法是將數據進行可視化處理,簡單的說就是繪制圖表。單純從數據的角度很難發現其中的趨勢和聯系,而將數據點繪製成圖表後趨勢和聯系就會變的清晰起來。對於有明顯時間維度的數據,我們選擇使用折線圖。
為了更清晰的對比這兩組數據的變化和趨勢,我們使用雙坐標軸折線圖,其中主坐標軸用來繪制廣告曝光量數據,次坐標軸用來繪制費用成本的數據。通過折線圖可以發現,費用成本和廣告曝光量兩組數據的變化和趨勢大致相同,從整體的大趨勢來看,費用成本和廣告曝光量兩組數據都呈現增長趨勢。從規律性來看費用成本和廣告曝光量數據每次的最低點都出現在同一天。從細節來看,兩組數據的短期趨勢的變化也基本一致。
經過以上這些對比,我們可以說廣告曝光量和費用成本之間有一些相關關系,但這種方法在整個分析過程和解釋上過於復雜,如果換成復雜一點的數據或者相關度較低的數據就會出現很多問題。
比折線圖更直觀的是散點圖。散點圖去除了時間維度的影響,只關注廣告曝光量和費用成本這里兩組數據間的關系。在繪制散點圖之前,我們將費用成本標識為X,也就是自變數,將廣告曝光量標識為y,也就是因變數。下面是一張根據每一天中廣告曝光量和費用成本數據繪制的散點圖,X軸是自變數費用成本數據,Y軸是因變數廣告曝光量數據。從數據點的分布情況可以發現,自變數x和因變數y有著相同的變化趨勢,當費用成本的增加後,廣告曝光量也隨之增加。
折線圖和散點圖都清晰的表示了廣告曝光量和費用成本兩組數據間的相關關系,優點是對相關關系的展現清晰,缺點是無法對相關關系進行准確的度量,缺乏說服力。並且當數據超過兩組時也無法完成各組數據間的相關分析。若要通過具體數字來度量兩組或兩組以上數據間的相關關系,需要使用第二種方法:協方差。
2,協方差及協方差矩陣
第二種相關分析方法是計算協方差。協方差用來衡量兩個變數的總體誤差,如果兩個變數的變化趨勢一致,協方差就是正值,說明兩個變數正相關。如果兩個變數的變化趨勢相反,協方差就是負值,說明兩個變數負相關。如果兩個變數相互獨立,那麼協方差就是0,說明兩個變數不相關。以下是協方差的計算公式:
下面是廣告曝光量和費用成本間協方差的計算過程和結果,經過計算,我們得到了一個很大的正值,因此可以說明兩組數據間是正相關的。廣告曝光量隨著費用成本的增長而增長。在實際工作中不需要按下面的方法來計算,可以通過Excel中COVAR()函數直接獲得兩組數據的協方差值。
協方差只能對兩組數據進行相關性分析,當有兩組以上數據時就需要使用協方差矩陣。下面是三組數據x,y,z,的協方差矩陣計算公式。
協方差通過數字衡量變數間的相關性,正值表示正相關,負值表示負相關。但無法對相關的密切程度進行度量。當我們面對多個變數時,無法通過協方差來說明那兩組數據的相關性最高。要衡量和對比相關性的密切程度,就需要使用下一個方法:相關系數。,
3,相關系數
第三個相關分析方法是相關系數。相關系數(Correlation coefficient)是反應變數之間關系密切程度的統計指標,相關系數的取值區間在1到-1之間。1表示兩個變數完全線性相關,-1表示兩個變數完全負相關,0表示兩個變數不相關。數據越趨近於0表示相關關系越弱。以下是相關系數的計算公式。
其中rxy表示樣本相關系數,Sxy表示樣本協方差,Sx表示X的樣本標准差,Sy表示y的樣本標准差。下面分別是Sxy協方差和Sx和Sy標准差的計算公式。由於是樣本協方差和樣本標准差,因此分母使用的是n-1。
Sxy樣本協方差計算公式:
Sx樣本標准差計算公式:
Sy樣本標准差計算公式:
下面是計算相關系數的過程,在表中我們分別計算了x,y變數的協方差以及各自的標准差,並求得相關系數值為0.93。0.93大於0說明兩個變數間正相關,同時0.93非常接近於1,說明兩個變數間高度相關。
在實際工作中,不需要上面這么復雜的計算過程,在Excel的數據分析模塊中選擇相關系數功能,設置好x,y變數後可以自動求得相關系數的值。在下面的結果中可以看到,廣告曝光量和費用成本的相關系數與我們手動求的結果一致。
相關系數的優點是可以通過數字對變數的關系進行度量,並且帶有方向性,1表示正相關,-1表示負相關,可以對變數關系的強弱進行度量,越靠近0相關性越弱。缺點是無法利用這種關系對數據進行預測,簡單的說就是沒有對變數間的關系進行提煉和固化,形成模型。要利用變數間的關系進行預測,需要使用到下一種相關分析方法,回歸分析。,
4,一元回歸及多元回歸
第四種相關分析方法是回歸分析。回歸分析(regression analysis)是確定兩組或兩組以上變數間關系的統計方法。回歸分析按照變數的數量分為一元回歸和多元回歸。兩個變數使用一元回歸,兩個以上變數使用多元回歸。進行回歸分析之前有兩個准備工作,第一確定變數的數量。第二確定自變數和因變數。我們的數據中只包含廣告曝光量和費用成本兩個變數,因此使用一元回歸。根據經驗廣告曝光量是隨著費用成本的變化而改變的,因此將費用成本設置為自變數x,廣告曝光量設置為因變數y。
以下是一元回歸方程,其中y表示廣告曝光量,x表示費用成本。b0為方程的截距,b1為斜率,同時也表示了兩個變數間的關系。我們的目標就是b0和b1的值,知道了這兩個值也就知道了變數間的關系。並且可以通過這個關系在已知成本費用的情況下預測廣告曝光量。
這是b1的計算公式,我們通過已知的費用成本x和廣告曝光量y來計算b1的值。
以下是通過最小二乘法計算b1值的具體計算過程和結果,經計算,b1的值為5.84。同時我們也獲得了自變數和因變數的均值。通過這三個值可以計算出b0的值。
以下是b0的計算公式,在已知b1和自變數與因變數均值的情況下,b0的值很容易計算。
將自變數和因變數的均值以及斜率b1代入到公式中,求出一元回歸方程截距b0的值為374。這里b1我們保留兩位小數,取值5.84。
在實際的工作中不需要進行如此繁瑣的計算,Excel可以幫我們自動完成並給出結果。在Excel中使用數據分析中的回歸功能,輸入自變數和因變數的范圍後可以自動獲得b0(Intercept)的值362.15和b1的值5.84。這里的b0和之前手動計算獲得的值有一些差異,因為前面用於計算的b1值只保留了兩位小數。
這里還要單獨說明下R Square的值0.87。這個值叫做判定系數,用來度量回歸方程的擬合優度。這個值越大,說明回歸方程越有意義,自變數對因變數的解釋度越高。
將截距b0和斜率b1代入到一元回歸方程中就獲得了自變數與因變數的關系。費用成本每增加1元,廣告曝光量會增加379.84次。通過這個關系我們可以根據成本預測廣告曝光量數據。也可以根據轉化所需的廣告曝光量來反推投入的費用成本。獲得這個方程還有一個更簡單的方法,就是在Excel中對自變數和因變數生成散點圖,然後選擇添加趨勢線,在添加趨勢線的菜單中選中顯示公式和顯示R平方值即可。
以上介紹的是兩個變數的一元回歸方法,如果有兩個以上的變數使用Excel中的回歸分析,選中相應的自變數和因變數范圍即可。下面是多元回歸方程。
5,信息熵及互信息
最後一種相關分析方法是信息熵與互信息。前面我們一直在圍繞消費成本和廣告曝光量兩組數據展開分析。實際工作中影響最終效果的因素可能有很多,並且不一定都是數值形式。比如我們站在更高的維度來看之前的數據。廣告曝光量只是一個過程指標,最終要分析和關注的是用戶是否購買的狀態。而影響這個結果的因素也不僅僅是消費成本或其他數值化指標。可能是一些特徵值。例如用戶所在的城市,用戶的性別,年齡區間分布,以及是否第一次到訪網站等等。這些都不能通過數字進行度量。
度量這些文本特徵值之間相關關系的方法就是互信息。通過這種方法我們可以發現哪一類特徵與最終的結果關系密切。下面是我們模擬的一些用戶特徵和數據。在這些數據中我們忽略之前的消費成本和廣告曝光量數據,只關注特徵與狀態的關系。
對於信息熵和互信息具體的計算過程請參考我前面的文章《 決策樹分類和預測演算法的原理及實現 》,這里直接給出每個特徵的互信息值以及排名結果。經過計算城市與購買狀態的相關性最高,所在城市為北京的用戶購買率較高。
到此為止5種相關分析方法都已介紹完,每種方法各有特點。其中圖表方法最為直觀,相關系數方法可以看到變數間兩兩的相關性,回歸方程可以對相關關系進行提煉,並生成模型用於預測,互信息可以對文本類特徵間的相關關系進行度量。
㈤ 請簡述至少6種對數據進行統計分析的方法。
1)頻次分布
2)平均數和標准差
3)相關分析
4)回歸分析就是根據已知的現象對未知的現象作出預測的一種科學方法。
5)聚類分析是按照個體的特徵將它們加以分類,使同一類別內的個體具有盡可能高的同質性,而類別之間則具有盡可能高的異質性。尤其是在對消費者進行細分時,我們通常會使用聚類分析的方法。
6)因子分析是一種多變數化簡技術,目的是分解原始變數,從中歸納出潛在的“類別”。
7)聯合分析是一種評價消費者偏好的方法它採用分解的辦法,即讓消費者給一系列的產品輪廓賦值,用這些賦值來計算偏好參數。這些參數可以是分值、權重、理想點等等。
㈥ 相關性分析有哪幾種方法
在做數據分析時,為了提煉觀點,相關性分析是必不可少,而且尤為重要的一個環節。但是,對於不同類型的數據,相關性分析的方法都各不相同。本文,主要按照不同的數據類型,來對各種相關性分析方法進行梳理總結。
相關性分析是指對兩個或多個具備相關性的變數元素進行分析,相關性不等於因果性。
一、離散與離散變數之間的相關性
1、卡方檢驗
卡方檢驗是一種用途很廣的計數資料的假設檢驗方法。它屬於非參數檢驗的范疇,主要是比較兩個及兩個以上樣本率( 構成比)以及兩個分類變數的關聯性分析。其根本思想就是在於比較理論頻數和實際頻數的吻合程度或擬合優度問題。
它在分類資料統計推斷中的應用,包括:兩個率或兩個構成比比較的卡方檢驗;多個率或多個構成比比較的卡方檢驗以及分類資料的相關分析等。
(1)假設,多個變數之間不相關
(2)根據假設計算得出每種情況的理論值,根據理論值與實際值的差別,計算得到卡方值 及 自由度
df=(C-1)(R-1)
(3)查卡方表,求p值
卡方值越大,P值越小,變數相關的可能性越大,當P<=0.05,否定原假設,認為變數相關。
2、信息增益 和 信息增益率
在介紹信息增益之前,先來介紹兩個基礎概念,信息熵和條件熵。
信息熵,就是一個隨機變數的不確定性程度。
條件熵,就是在一個條件下,隨機變數的不確定性。
(1)信息增益:熵 - 條件熵
在一個條件下,信息不確定性減少的程度。
Gain(Y,X)=H(Y)-H(Y|X)
信息增益越大,表示引入條件X之後,不純度減少得越多。信息增益越大,則兩個變數之間的相關性越大。
(2)信息增益率
假設,某個變數存在大量的不同值,例如ID,引入ID後,每個子節點的不純度都為0,則信息增益減少程度達到最大。所以,當不同變數的取值數量差別很大時,引入取值多的變數,信息增益更大。因此,使用信息增益率,考慮到分支個數的影響。
Gain_ratio=(H(Y)-H(Y|X))/H(Y|X)
二、連續與連續變數之間的相關性
1、協方差
協方差,表達了兩個隨機變數的協同變化關系。如果兩個變數不相關,則協方差為0。
Cov(X,Y)=E{[X-E(X)],[Y-E(Y)]}
當 cov(X, Y)>0時,表明 X與Y 正相關;
當 cov(X, Y)<0時,表明X與Y負相關;
當 cov(X, Y)=0時,表明X與Y不相關。
協方差只能對兩組數據進行相關性分析,當有兩組以上數據時就需要使用協方差矩陣。
協方差通過數字衡量變數間的相關性,正值表示正相關,負值表示負相關。但無法對相關的密切程度進行度量。當我們面對多個變數時,無法通過協方差來說明那兩組數據的相關性最高。要衡量和對比相關性的密切程度,就需要使用下一個方法:相關系數。
2、線性相關系數
也叫Pearson相關系數, 主要衡量兩個變數線性相關的程度。
r=cov(X,Y)/(D(X)D(Y))
相關系數是用協方差除以兩個隨機變數的標准差。相關系數的大小在-1和1之間變化。再也不會出現因為計量單位變化,而數值暴漲的情況了。
線性相關系數必須建立在因變數與自變數是線性的關系基礎上,否則線性相關系數是無意義的。
三、連續與離散變數之間的相關性
1、連續變數離散化
將連續變數離散化,然後,使用離散與離散變數相關性分析的方法來分析相關性。
2、箱形圖
使用畫箱形圖的方法,看離散變數取不同值,連續變數的均值與方差及取值分布情況。
如果,離散變數取不同值,對應的連續變數的箱形圖差別不大,則說明,離散變數取不同值對連續變數的影響不大,相關性不高;反之,相關性高。