數據分析與建模方法

1. 數據分析模型和方法有哪些

1、分類分析數據分析法

在數據分析中，如果將數據進行分類就能夠更好的分析。分類分析是將一些未知類別的部分放進我們已經分好類別中的其中某一類;或者將對一些數據進行分析，把這些數據歸納到接近這一程度的類別，並按接近這一程度對觀測對象給出合理的分類。這樣才能夠更好的進行分析數據。

2、對比分析數據分析方法

很多數據分析也是經常使用對比分析數據分析方法。對比分析法通常是把兩個相互有聯系的數據進行比較，從數量上展示和說明研究對象在某一標準的數量進行比較，從中發現其他的差異，以及各種關系是否協調。

3、相關分析數據分析法

相關分析數據分析法也是一種比較常見數據分析方法，相關分析是指研究變數之間相互關系的一類分析方法。按是否區別自變數和因變數為標准一般分為兩類：一類是明確自變數和因變數的關系;另一類是不區分因果關系，只研究變數之間是否相關，相關方向和密切程度的分析方法。

4、綜合分析數據分析法

層次分析法，是一種實用的多目標或多方案的決策方法。由於他在處理復雜的決策問題上的實用性和有效性，而層次分析數據分析法在世界范圍得到廣泛的應用。它的應用已遍及經濟計劃和管理，能源政策和分配，行為科學、軍事指揮、運輸、農業、教育、醫療和環境等多領域。

2. 數據分析的步驟是什麼

1.問題定義
比較典型的場景是我們需要針對企業的數據進行分析，比如公司通常會有銷售數據、用戶數據、運營數據、產品生產數據……你需要從這些數據里獲得哪些有用的信息，對策略的制定進行指導呢？又比如你需要做的是一份市場調研或者行業分析，那麼你需要知道你需要獲得關於這個行業的哪些信息。
首先你需要確定去分析的問題是什麼？你想得出哪些結論？
比如某地區空氣質量變化的趨勢是什麼？
王者榮耀玩家的用戶畫像是什麼樣的？經常消費的是那類人？
影響公司銷售額增長的關鍵因素是什麼？
生產環節中影響產能和質量的核心指標是什麼？
如何對分析用戶畫像並進行精準營銷？
如何基於歷史數據預測未來某個階段用戶行為？
這些問題可能來源於你已有的經驗和知識。比如你已經知道每周的不同時間用戶購買量不一樣，那麼你可以通過分析得出銷量和時間的精確關系，從而精準備貨。又比如你知道北京最近幾年的空氣質量是在變壞的，可能的因素是工廠排放、沙塵暴、居民排放、天氣因素等，那麼在定義問題的時候你就需要想清楚，需要針對哪些因素進行重點分析。
有些問題則並不清晰，比如在生產環節中，影響質量的核心指標是什麼，是原材料？設備水平？工人水平？天氣情況？某個環節工藝的復雜度？某項操作的重復次數？……這些可能並不明顯，或者你是涉足新的領域，並沒有非常專業的知識，那麼你可能需要定義的問題就需要更加寬泛，涵蓋更多的可能性。
問題的定義可能需要你去了解業務的核心知識，並從中獲得一些可以幫助你進行分析的經驗。從某種程度上說，這也是我們經常提到的數據思維。數據分析很多時候可以幫助你發現我們不容易發現的相關性，但對問題的精確定義，可以從很大程度上提升數據分析的效率。
如何更好地定義問題？
這就需要你在長期的訓練中找到對數據的感覺，開始的時候你拿到特別大的數據，有非常多的欄位，可能會很懵逼，到底應該從什麼地方下手呢？
但如果有一些經驗就會好很多。比如，你要研究影響跑步運動員速度的身體因素，那麼我們可能會去研究運動員的身高、腿長、體重、甚至心率、血壓、臂長，而不太會去研究運動員的腋毛長度，這是基於我們已有的知識。又比如我們要分析影響一個地方房價的因素，那麼我們可能會有一些通用的常識，比如城市人口、地理位置、GDP、地價、物價水平，更深入的可能會有產業格局、文化狀態、氣候情況等等，但一般我們不會去研究城市的女孩長相，美女佔比。
所以當你分析的問題多了之後，你就會有一些自己對數據的敏感度，從而養成用數據分析、用數據說話的習慣。這個時候你甚至可以基於一些數據，根據自己的經驗做出初步的判斷和預測（當然是不能取代完整樣本的精準預測），這個時候，你就基本擁有數據思維了。

2.數據獲取
有了具體的問題，你就需要獲取相關的數據了。比如你要探究北京空氣質量變化的趨勢，你可能就需要收集北京最近幾年的空氣質量數據、天氣數據，甚至工廠數據、氣體排放數據、重要日程數據等等。如果你要分析影響公司銷售的關鍵因素，你就需要調用公司的歷史銷售數據、用戶畫像數據、廣告投放數據等。
數據的獲取方式有多種。
一是公司的銷售、用戶數據，可以直接從企業資料庫調取，所以你需要SQL技能去完成數據提取等的資料庫管理工作。比如你可以根據你的需要提取2017年所有的銷售數據、提取今年銷量最大的50件商品的數據、提取上海、廣東地區用戶的消費數據……，SQL可以通過簡單的命令幫你完成這些工作。
第二種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。當然這種方式也有一些缺陷，通常數據會發布的比較滯後，但通常因為客觀性、權威性，仍然具有很大的價值。
第三種是編寫網頁爬蟲，去收集互聯網上的數據。比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析，這算是非常靠譜的市場調研、競品分析的方式了。
當然，比較BUG的一點是，你通常並不能夠獲得所有你需要的數據，這對你的分析結果是有一定影響的，但不不影響的是，你通過有限的可獲取的數據，提取更多有用的信息。

3.數據預處理
現實世界中數據大體上都是不完整，不一致的臟數據，無法直接進行數據分析，或分析結果差強人意。數據預處理有多種方法：數據清理，數據集成，數據變換，數據歸約等。把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
比如空氣質量的數據，其中有很多天的數據由於設備的原因是沒有監測到的，有一些數據是記錄重復的，還有一些數據是設備故障時監測無效的。
那麼我們需要用相應的方法去處理，比如殘缺數據，我們是直接去掉這條數據，還是用臨近的值去補全，這些都是需要考慮的問題。
當然在這里我們還可能會有數據的分組、基本描述統計量的計算、基本統計圖形的繪制、數據取值的轉換、數據的正態化處理等，能夠幫助我們掌握數據的分布特徵，是進一步深入分析和建模的基礎。

4.數據分析與建模
在這個部分需要了解基本的數據分析方法、數據挖掘演算法，了解不同方法適用的場景和適合的問題。分析時應切忌濫用和誤用統計分析方法。濫用和誤用統計分析方法主要是由於對方法能解決哪類問題、方法適用的前提、方法對數據的要求不清等原因造成的。
另外，選擇幾種統計分析方法對數據進行探索性的反復分析也是極為重要的。每一種統計分析方法都有自己的特點和局限，因此，一般需要選擇幾種方法反復印證分析，僅依據一種分析方法的結果就斷然下結論是不科學的。
比如你發現在一定條件下，銷量和價格是正比關系，那麼你可以據此建立一個線性回歸模型，你發現價格和廣告是非線性關系，你可以先建立一個邏輯回歸模型來進行分析。
一般情況下，回歸分析的方法可以滿足很大一部分的分析需求，當然你也可以了解一些數據挖掘的演算法、特徵提取的方法來優化自己的模型，獲得更好地結果。

5.數據可視化及數據報告的撰寫
分析結果最直接的結果是統計量的描述和統計量的展示。
比如我們通過數據的分布發現數據分析工資最高的5個城市，目前各種語言的流行度排行榜，近幾年北京空氣質量的變化趨勢，避孕套消費的地區分布……這些都是我們通過簡單數據分析與可視化就可以展現出的結果。
另外一些則需要深入探究內部的關系，比如影響產品質量最關鍵的幾個指標，你需要對不同指標與產品質量進行相關性分析之後才能得出正確結論。又比如你需要預測未來某個時間段的產品銷量，則需要你對歷史數據進行建模和分析，才能對未來的情況有更精準的預測。
數據分析報告不僅是分析結果的直接呈現，還是對相關情況的一個全面的認識。我們經常看到一些行業分析報告從不同角度、深入淺析地剖析各種關系。所以你需要一個講故事的邏輯，如何從一個宏觀的問題，深入、細化到問題內部的方方面面，得出令人信服的結果，這需要從實踐中不斷訓練。

數據分析的一般流程總的來說就是這幾個步驟：問題定義、數據獲取、數據預處理、數據分析與建模、數據可視化與數據報告的撰寫。

3. 數據建模的分析方法有哪些並寫出他們的大概介紹

從目前的資料庫及數據倉庫建模方法來說，主要分為四類。

第一類是大家最為熟悉的關系資料庫的三範式建模，通常我們將三範式建模方法用於建立各種操作型資料庫系統。

第二類是Inmon提倡的三範式數據倉庫建模，它和操作型資料庫系統的三範式建模在側重點上有些不同。Inmon的數據倉庫建模方法分為三層，第一層是實體關系層，也即企業的業務數據模型層，在這一層上和企業的操作型資料庫系統建模方法是相同的；第二層是數據項集層，在這一層的建模方法根據數據的產生頻率及訪問頻率等因素與企業的操作型資料庫系統的建模方法產生了不同；第三層物理層是第二層的具體實現。

第三類是Kimball提倡的數據倉庫的維度建模，我們一般也稱之為星型結構建模，有時也加入一些雪花模型在裡面。維度建模是一種面向用戶需求的、容易理解的、訪問效率高的建模方法，也是筆者比較喜歡的一種建模方式。

第四類是更為靈活的一種建模方式，通常用於後台的數據准備區，建模的方式不拘一格，以能滿足需要為目的，建好的表不對用戶提供介面，多為臨時表。

下面簡單談談第四類建模方法的一些的經驗。

數據准備區有一個最大的特點，就是不會直接面對用戶，所以對數據准備區中的表進行操作的人只有ETL工程師。ETL工程師可以自己來決定表中數據的范圍和數據的生命周期。下面舉兩個例子：

1）數據范圍小的臨時表

當需要整合或清洗的數據量過大時，我們可以建立同樣結構的臨時表，在臨時表中只保留我們需要處理的部分數據。這樣，不論是更新還是對表中某些項的計算都會效率提高很多。處理好的數據發送入准備載入到數據倉庫中的表中，最後一次性載入入數據倉庫。

2）帶有冗餘欄位的臨時表

由於數據准備區中的表只有自己使用，所以建立冗餘欄位可以起到很好的作用而不用承擔風險。

舉例來說，筆者在項目中曾遇到這樣的需求，客戶表{客戶ID，客戶凈扣值}，債項表{債項ID，客戶ID，債項余額，債項凈扣值}，即客戶和債項是一對多的關系。其中，客戶凈扣值和債項余額已知，需要計算債項凈扣值。計算的規則是按債項余額的比例分配客戶的凈扣值。這時，我們可以給兩個表增加幾個冗餘欄位，如客戶表{客戶ID，客戶凈扣值，客戶余額}，債項表{債項ID，客戶ID，債項余額，債項凈扣值，客戶余額，客戶凈扣值}。這樣通過三條SQL就可以直接完成整個計算過程。將債項余額匯總到客戶余額，將客戶余額和客戶凈扣值冗餘到債項表中，在債項表中通過（債項余額×客戶凈扣值/客戶余額）公式即可直接計算處債項凈扣值。

另外還有很多大家可以發揮的建表方式，如不需要主鍵的臨時表等等。總結來說，正因為數據准備區是不對用戶提供介面的，所以我們一定要利用好這一點，以給我們的數據處理工作帶來最大的便利為目的來進行數據准備區的表設計。

4. #數據分析師#數據分析中的建模能力通常是指什麼呢以及常用到的建模軟體，求教

我理解的，數據分析師的建模能力是指對數據建立數學模型進行分析的能力，常規的方法有回歸、聚類等等統計學方法，用spss或者MATLAB甚至Excel都可以實現。但是我覺得模型的復雜與否並不是最重要的，能把數據與業務結合去解決問題才是最重要的。 來自職Q用戶：屈先生
r或者 Python 加上sql，統計學知識。思想是關鍵，工具是輔助。 來自職Q用戶：奮不顧身一直向前的M

5. 數據分析建模步驟有哪些

1、分類和聚類

分類演算法是極其常用的數據挖掘方法之一，其核心思想是找出目標數據項的共同特徵，並按照分類規則將數據項劃分為不同的類別。聚類演算法則是把一組數據按照相似性和差異性分為若干類別，使得同一類別數據間的相似性盡可能大，不同類別數據的相似性盡可能小。分類和聚類的目的都是將數據項進行歸類，但二者具有顯著的區別。分類是有監督的學習，即這些類別是已知的，通過對已知分類的數據進行訓練和學習，找到這些不同類的特徵，再對未分類的數據進行分類。而聚類則是無監督的學習，不需要對數據進行訓練和學習。常見的分類演算法有決策樹分類演算法、貝葉斯分類演算法等;聚類演算法則包括系統聚類，K-means均值聚類等。

2、回歸分析

回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法，其主要研究的問題包括數據序列的趨勢特徵、數據序列的預測以及數據間的相關關系等。按照模型自變數的多少，回歸演算法可以分為一元回歸分析和多元回歸分析;按照自變數和因變數間的關系，又可分為線性回歸和非線性回歸分析。

3、神經網路

神經網路演算法是在現代神經生物學研究的基礎上發展起來的一種模擬人腦信息處理機制的網路系統，不但具備一般計算能力，還具有處理知識的思維、學習和記憶能力。它是一種基於導師的學習演算法，可以模擬復雜系統的輸入和輸出，同時具有非常強的非線性映射能力。基於神經網路的挖掘過程由數據准備、規則提取、規則應用和預測評估四個階段組成，在數據挖掘中，經常利用神經網路演算法進行預測工作。

4、關聯分析

關聯分析是在交易數據、關系數據或其他信息載體中，查找存在於項目集合或對象集合之間的關聯、相關性或因果結構，即描述資料庫中不同數據項之間所存在關系的規則。例如，一項數據發生變化，另一項也跟隨發生變化，則這兩個數據項之間可能存在某種關聯。關聯分析是一個很有用的數據挖掘模型，能夠幫助企業輸出很多有用的產品組合推薦、優惠促銷組合，能夠找到的潛在客戶，真正的把數據挖掘落到實處。4市場營銷大數據挖掘在精準營銷領域的應用可分為兩大類，包括離線應用和在線應用。其中，離線應用主要是基於客戶畫像進行數據挖掘，進行不同目的針對性營銷活動，包括潛在客戶挖掘、流失客戶挽留、制定精細化營銷媒介等。而在線應用則是基於實時數據挖掘結果，進行精準化的廣告推送和市場營銷，具體包括DMP，DSP和程序化購買等應用。

6. 什麼是數據建模

數據建模是一個用於定義和分析在組織的信息系統范圍內支持商業流程所需的數據要求的過程。簡單來說，數據建模是基於對業務數據的理解和數據分析的需要，將各類數據進行整合和關聯，使得數據可以最終以可視化的方式呈現，讓使用者能夠快速地、高效地獲取到數據中有價值的信息，從而做出准確有效的決策。

之所以數據建模會變得復雜且難度大，是因為在建模過程中會引入數學公式或模型，用於確定數據實體之間的關聯關系。不同的業務邏輯和商業需求需要選擇不同的數學公式或模型，而且，一個好的數據模型需要通過多次的測試和優化迭代來完成，這就使得數據建模的難度變得很高。但是，數據分析中的建模並沒有想像中的那麼高深莫測，人人都可以做出適合自己的模型。

數據建模總歸是為了分析數據從而解決商業問題。如下圖數據建模的流程圖，數據建模核心部分是變數處理和模型搭建。

• 變數處理

在建模之前，首先要決定選擇哪些變數進行建模，主要從業務邏輯和數據邏輯兩方面來考慮。業務邏輯需要了解數據來源的背景，通過了解業務知識來判斷哪些變數在業務上很有價值的，哪些變數是可以選擇的。數據邏輯則是從數據的完整性，集中度，是否與其他變數強相關等角度來考慮。

除了選擇變數，對於一些變數的重構也是需要在建模前進行。例如客戶的滿意度有「滿意」「不滿意」，可以將其重構成數字「0」和「1」，便於後續建模使用。除此以外，還有將變數單獨計算（取平均值）和組合計算（如A*B）也是常用的重構方法，例如，缺失值以數據取平均值的方式替換。

• 模型搭建

在模型搭建時，會經歷選擇演算法、設定參數、載入演算法、測試結果四個過程。在這個過程中，測試結果會引導調整之前設定的參數，載入演算法會對應調整之前選擇的演算法，而選擇演算法時會考慮到已定的變數，如果變數不滿足演算法要求，還需回到選擇/重構變數，直至得到最合適的模型。

在優化模型的過程中，模型的解釋能力和實用性會不斷地提升。在結果輸出之後，還需接收業務人員的反饋，看看模型是否解決了他們的問題，如果沒有，還需進一步修改和調整。

MicroStrategy在數據領域深挖企業需求，經過多年的研究和沉澱，結合眾多復雜的應用場景，不斷更新體驗，深入開發各種數據輔助功能，使客戶可以一站式鏈接各類型數據資源，完成數據導入和數據建模。在MicroStrategy 平台中，既支持傳統方式數據建模，即通過Project Schema 來進行建模，又支持自助式數據導入的建模方式。

7. 數據分析方法與模型都有哪些

現在的大數據的流行程度不用說大家都知道，大數據離不開數據分析，而數據分析的方法和數據分析模型多種多樣，按照數據分析將這些數據分析方法與模型分為對比分析、分類分析、相關分析和綜合分析四種方式，這四種方式的不同點前三類以定性的數據分析方法與模型為主，綜合類數據分析方法與模型是注重定性與定量相結合。

一、分類分析數據分析法
在數據分析中，如果將數據進行分類就能夠更好的分析。分類分析是將一些未知類別的部分放進我們已經分好類別中的其中某一類；或者將對一些數據進行分析，把這些數據歸納到接近這一程度的類別，並按接近這一程度對觀測對象給出合理的分類。這樣才能夠更好的進行分析數據。

二、對比分析數據分析方法
很多數據分析也是經常使用對比分析數據分析方法。對比分析法通常是把兩個相互有聯系的數據進行比較，從數量上展示和說明研究對象在某一標準的數量進行比較，從中發現其他的差異，以及各種關系是否協調。

三、相關分析數據分析法相關分析數據分析法也是一種比較常見數據分析方法，相關分析是指研究變數之間相互關系的一類分析方法。按是否區別自變數和因變數為標准一般分為兩類：一類是明確自變數和因變數的關系；另一類是不區分因果關系，只研究變數之間是否相關，相關方向和密切程度的分析方法。
而敏感性分析是指從定量分析的角度研究有關因素發生某種變化時對某一個或一組關鍵指標影響程度的一種不確定分析技術。
回歸分析是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法。
時間序列是將一個指標在不相同的時間點上的取值，按照時間的先後順序排列而成的一列數。時間序列實驗研究對象的歷史行為的客觀記錄，因而它包含了研究對象的結構特徵以及規律。

四、綜合分析數據分析法
層次分析法，是一種實用的多目標或多方案的決策方法。由於他在處理復雜的決策問題上的實用性和有效性，而層次分析數據分析法在世界范圍得到廣泛的應用。它的應用已遍及經濟計劃和管理，能源政策和分配，行為科學、軍事指揮、運輸、農業、教育、醫療和環境等多領域。
而綜合分析與層次分析是不同的，綜合分析是指運用各種統計、財務等綜合指標來反饋和研究社會經濟現象總體的一般特徵和數量關系的研究方法。

上述提到的數據分析方法與數據分析模型在企業經營、管理、投資決策最為常用，在企業決策中起著至關重要的作用。一般來說，對比分析、分類分析、相關分析和綜合分析這四種方法都是數據分析師比較常用的，希望這篇文章能夠幫助大家更好的理解大數據。

8. 數據處理與分析的步驟是怎麼樣

數據處理與分析分為五步：

第一步：確定客戶的數據需求

比較典型的場景是我們需要針對企業的數據進行分析，比如公司通常會有銷售數據、用戶數據、運營數據、產品生產數據……需要從這些數據里獲得哪些有用的信息，對策略的制定進行指導呢？又比如需要做的是一份市場調研或者行業分析，那麼需要知道獲得關於這個行業的哪些信息。

第二步：根據客戶需求進行數據採集

採集來自網路爬蟲、結構化數據、本地數據、物聯網設備、人工錄入五個數據源的數據，為客戶提供定製化數據採集。目的是根據客戶的需求，定製數據採集，構建單一數據源。

第三步：數據預處理

現實世界中數據大體上都是不完整，不一致的臟數據，無法直接進行數據分析，或分析結果差強人意。數據預處理有多種方法：數據清理，數據集成，數據變換，數據歸約等。把這些影響分析的數據處理好，才能獲得更加精確地分析結果。

第四步：數據分析與建模

數據分析是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便採取適當行動。

數據模型是對信息系統中客觀事物及其聯系的數據描述，它是復雜的數據關系之間的一個整體邏輯結構圖。數據模型不但提供了整個組織藉以收集數據的基礎，它還與組織中其他模型一起，精確恰當地記錄業務需求，並支持信息系統不斷地發展和完善，以滿足不斷變化的業務需求。

第五步：數據可視化及數據報告的撰寫

分析結果最直接的結果是統計量的描述和統計量的展示。數據分析報告不僅是分析結果的直接呈現，還是對相關情況的一個全面的認識。