A. 常用的大數據分析方法
1. Analytic Visualizations(可視化分析)
不管是對數據分析專家還是普通用戶,數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據,讓數據自己說話,讓觀眾聽到結果。
2. Data Mining Algorithms(數據挖掘演算法)
可視化是給人看的,數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部,挖掘價值。這些演算法不僅要處理大數據的量,也要處理大數據的速度。
3. Predictive Analytic Capabilities(預測性分析能力)
數據挖掘可以讓分析員更好的理解數據,而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4. Semantic Engines(語義引擎)
由於非結構化數據的多樣性帶來了數據分析的新的挑戰,需要一系列的工具去解析,提取,分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。
5. Data Quality and Master Data Management(數據質量和數據管理)
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
B. 什麼叫數據挖掘、神經網路
數據挖掘(Data Mining)是指通過大量數據集進行分類的自動化過程,以通過數據分析來識別趨勢和模式,建立關系來解決業務問題。換句話說,數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
原則上講,數據挖掘可以應用於任何類型的信息存儲庫及瞬態數據(如數據流),如資料庫、數據倉庫、數據集市、事務資料庫、空間資料庫(如地圖等)、工程設計數據(如建築設計等)、多媒體數據(文本、圖像、視頻、音頻)、網路、數據流、時間序列資料庫等。也正因如此,數據挖掘存在以下特點:
(1)數據集大且不完整
數據挖掘所需要的數據集是很大的,只有數據集越大,得到的規律才能越貼近於正確的實際的規律,結果也才越准確。除此以外,數據往往都是不完整的。
(2)不準確性
數據挖掘存在不準確性,主要是由雜訊數據造成的。比如在商業中用戶可能會提供假數據;在工廠環境中,正常的數據往往會收到電磁或者是輻射干擾,而出現超出正常值的情況。這些不正常的絕對不可能出現的數據,就叫做雜訊,它們會導致數據挖掘存在不準確性。
(3)模糊的和隨機的
數據挖掘是模糊的和隨機的。這里的模糊可以和不準確性相關聯。由於數據不準確導致只能在大體上對數據進行一個整體的觀察,或者由於涉及到隱私信息無法獲知到具體的一些內容,這個時候如果想要做相關的分析操作,就只能在大體上做一些分析,無法精確進行判斷。
而數據的隨機性有兩個解釋,一個是獲取的數據隨機;我們無法得知用戶填寫的到底是什麼內容。第二個是分析結果隨機。數據交給機器進行判斷和學習,那麼一切的操作都屬於是灰箱操作。
神經網路:
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題,因此近年來越來越受到人們的關注。
C. 大數據分析方法解讀以及相關工具介紹
大數據分析方法解讀以及相關工具介紹
要知道,大數據已不再是數據大,最重要的現實就是對大數據進行分析,只有通過分析才能獲取很多智能的,深入的,有價值的信息。
越來越多的應用涉及到大數據,這些大數據的屬性,包括數量,速度,多樣性等等都是呈現了大數據不斷增長的復雜性,所以,大數據的分析方法在大數據領域就顯得尤為重要,可以說是決定最終信息是否有價值的決定性因素。基於此,大數據分析方法理論有哪些呢?
大數據分析的五個基本方面
(預測性分析能力)
數據挖掘可以讓分析員更好的理解數據,而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
(數據質量和數據管理)
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
AnalyticVisualizations(可視化分析)
不管是對數據分析專家還是普通用戶,數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據,讓數據自己說話,讓觀眾聽到結果。
SemanticEngines(語義引擎)
我們知道由於非結構化數據的多樣性帶來了數據分析的新的挑戰,我們需要一系列的工具去解析,提取,分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。
DataMiningAlgorithms(數據挖掘演算法)
可視化是給人看的,數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部,挖掘價值。這些演算法不僅要處理大數據的量,也要處理大數據的速度。
假如大數據真的是下一個重要的技術革新的話,我們最好把精力關注在大數據能給我們帶來的好處,而不僅僅是挑戰。
大數據處理
大數據處理數據時代理念的三大轉變:要全體不要抽樣,要效率不要絕對精確,要相關不要因果。具體的大數據處理方法其實有很多,但是根據長時間的實踐,筆者總結了一個基本的大數據處理流程,並且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步,分別是採集、導入和預處理、統計和分析,以及挖掘。
採集
大數據的採集是指利用多個資料庫來接收發自客戶端的數據,並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如,電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據,除此之外,Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中,其主要特點和挑戰是並發數高,因為同時有可能會有成千上萬的用戶來進行訪問和操作,比如火車票售票網站和淘寶,它們並發的訪問量在峰值時達到上百萬,所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
統計/分析
統計與分析主要利用分布式資料庫,或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等,以滿足大多數常見的分析需求,在這方面,一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata,以及基於MySQL的列式存儲Infobright等,而一些批處理,或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大,其對系統資源,特別是I/O會有極大的佔用。
導入/預處理
雖然採集端本身會有很多資料庫,但是如果要對這些海量數據進行有效的分析,還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫,或者分布式存儲集群,並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算,來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大,每秒鍾的導入量經常會達到百兆,甚至千兆級別。
挖掘
與前面統計和分析過程不同的是,數據挖掘一般沒有什麼預先設定好的主題,主要是在現有數據上面進行基於各種演算法的計算,從而起到預測的效果,從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的K-Means、用於統計學習的SVM和用於分類的Naive Bayes,主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜,並且計算涉及的數據量和計算量都很大,還有,常用數據挖掘演算法都以單線程為主。
大數據分析工具詳解 IBM惠普微軟工具在列
去年,IBM宣布以17億美元收購數據分析公司Netezza;EMC繼收購數據倉庫軟體廠商Greenplum後再次收購集群NAS廠商Isilon;Teradata收購了Aster Data 公司;隨後,惠普收購實時分析平台Vertica等,這些收購事件指向的是同一個目標市場——大數據。是的,大數據時代已經來臨,大家都在摩拳擦掌,搶占市場先機。
而在這裡面,最耀眼的明星是hadoop,Hadoop已被公認為是新一代的大數據處理平台,EMC、IBM、Informatica、Microsoft以及Oracle都紛紛投入了Hadoop的懷抱。對於大數據來說,最重要的還是對於數據的分析,從裡面尋找有價值的數據幫助企業作出更好的商業決策。下面,我們就來看以下八大關於大數據分析的工具。
EMC Greenplum統一分析平台(UAP)
Greenplum在2010年被EMC收購了其EMC Greenplum統一分析平台(UAP)是一款單一軟體平台,數據團隊和分析團隊可以在該平台上無縫地共享信息、協作分析,沒必要在不同的孤島上工作,或者在不同的孤島之間轉移數據。正因為如此,UAP包括ECM Greenplum關系資料庫、EMC Greenplum HD Hadoop發行版和EMC Greenplum Chorus。
EMC為大數據開發的硬體是模塊化的EMC數據計算設備(DCA),它能夠在一個設備裡面運行並擴展Greenplum關系資料庫和Greenplum HD節點。DCA提供了一個共享的指揮中心(Command Center)界面,讓管理員可以監控、管理和配置Greenplum資料庫和Hadoop系統性能及容量。隨著Hadoop平台日趨成熟,預計分析功能會急劇增加。
IBM打組合拳提供BigInsights和BigCloud
幾年前,IBM開始在其實驗室嘗試使用Hadoop,但是它在去年將相關產品和服務納入到商業版IBM在去年5月推出了InfoSphere BigI雲版本的 InfoSphere BigInsights使組織內的任何用戶都可以做大數據分析。雲上的BigInsights軟體可以分析資料庫里的結構化數據和非結構化數據,使決策者能夠迅速將洞察轉化為行動。
IBM隨後又在10月通過其智慧雲企業(SmartCloud Enterprise)基礎架構,將BigInsights和BigSheets作為一項服務來提供。這項服務分基礎版和企業版;一大賣點就是客戶不必購買支持性硬體,也不需要IT專門知識,就可以學習和試用大數據處理和分析功能。據IBM聲稱,客戶用不了30分鍾就能搭建起Hadoop集群,並將數據轉移到集群裡面,數據處理費用是每個集群每小時60美分起價。
Informatica 9.1:將大數據的挑戰轉化為大機遇
Informatica公司在去年10月則更深入一步,當時它推出了HParser,這是一種針對Hadoop而優化的數據轉換環境。據Informatica聲稱,軟體支持靈活高效地處理Hadoop裡面的任何文件格式,為Hadoop開發人員提供了即開即用的解析功能,以便處理復雜而多樣的數據源,包括日誌、文檔、二進制數據或層次式數據,以及眾多行業標准格式(如銀行業的NACHA、支付業的SWIFT、金融數據業的FIX和保險業的ACORD)。正如資料庫內處理技術加快了各種分析方法,Informatica同樣將解析代碼添加到Hadoop裡面,以便充分利用所有這些處理功能,不久會添加其他的數據處理代碼。
Informatica HParser是Informatica B2B Data Exchange家族產品及Informatica平台的最新補充,旨在滿足從海量無結構數據中提取商業價值的日益增長的需求。去年, Informatica成功地推出了創新的Informatica 9.1 for Big Data,是全球第一個專門為大數據而構建的統一數據集成平台。
甲骨文大數據機——Oracle Big Data Appliance
甲骨文的Big Data Appliance集成系統包括Cloudera的Hadoop系統管理軟體和支持服務Apache Hadoop 和Cloudera Manager。甲骨文視Big Data Appliance為包括Exadata、Exalogic和 Exalytics In-Memory Machine的「建造系統」。Oracle大數據機(Oracle Big Data Appliance),是一個軟、硬體集成系統,在系統中融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R。該大數據機採用Oracle Linux操作系統,並配備Oracle NoSQL資料庫社區版本和Oracle HotSpot Java虛擬機。Big Data Appliance為全架構產品,每個架構864GB存儲,216個CPU內核,648TBRAW存儲,每秒40GB的InifiniBand連接。Big Data Appliance售價45萬美元,每年硬軟體支持費用為12%。
甲骨文Big Data Appliance與EMC Data Computing Appliance匹敵,IBM也曾推出數據分析軟體平台InfoSphere BigInsights,微軟也宣布在2012年發布Hadoop架構的SQL Server 2012大型數據處理平台。
統計分析方法以及統計軟體詳細介紹
統計分析方法有哪幾種?下面我們將詳細闡述,並介紹一些常用的統計分析軟體。
一、指標對比分析法指標對比分析法
統計分析的八種方法一、指標對比分析法指標對比分析法,又稱比較分析法,是統計分析中最常用的方法。是通過有關的指標對比來反映事物數量上差異和變化的方法。有比較才能鑒別。單獨看一些指標,只能說明總體的某些數量特徵,得不出什麼結論性的認識;一經過比較,如與國外、外單位比,與歷史數據比,與計劃相比,就可以對規模大小、水平高低、速度快慢作出判斷和評價。
指標分析對比分析方法可分為靜態比較和動態比較分析。靜態比較是同一時間條件下不同總體指標比較,如不同部門、不同地區、不同國家的比較,也叫橫向比較;動態比較是同一總體條件不同時期指標數值的比較,也叫縱向比較。這兩種方法既可單獨使用,也可結合使用。進行對比分析時,可以單獨使用總量指標或相對指標或平均指標,也可將它們結合起來進行對比。比較的結果可用相對數,如百分數、倍數、系數等,也可用相差的絕對數和相關的百分點(每1%為一個百分點)來表示,即將對比的指標相減。
二、分組分析法指標對比分析法
分組分析法指標對比分析法對比,但組成統計總體的各單位具有多種特徵,這就使得在同一總體范圍內的各單位之間產生了許多差別,統計分析不僅要對總體數量特徵和數量關系進行分析,還要深入總體的內部進行分組分析。分組分析法就是根據統計分析的目的要求,把所研究的總體按照一個或者幾個標志劃分為若干個部分,加以整理,進行觀察、分析,以揭示其內在的聯系和規律性。
統計分組法的關鍵問題在於正確選擇分組標值和劃分各組界限。
三、時間數列及動態分析法
時間數列。是將同一指標在時間上變化和發展的一系列數值,按時間先後順序排列,就形成時間數列,又稱動態數列。它能反映社會經濟現象的發展變動情況,通過時間數列的編制和分析,可以找出動態變化規律,為預測未來的發展趨勢提供依據。時間數列可分為絕對數時間數列、相對數時間數列、平均數時間數列。
時間數列速度指標。根據絕對數時間數列可以計算的速度指標:有發展速度、增長速度、平均發展速度、平均增長速度。
動態分析法。在統計分析中,如果只有孤立的一個時期指標值,是很難作出判斷的。如果編制了時間數列,就可以進行動態分析,反映其發展水平和速度的變化規律。
進行動態分析,要注意數列中各個指標具有的可比性。總體范圍、指標計算方法、計算價格和計量單位,都應該前後一致。時間間隔一般也要一致,但也可以根據研究目的,採取不同的間隔期,如按歷史時期分。為了消除時間間隔期不同而產生的指標數值不可比,可採用年平均數和年平均發展速度來編制動態數列。此外在統計上,許多綜合指標是採用價值形態來反映實物總量,如國內生產總值、工業總產值、社會商品零售總額等計算不同年份的發展速度時,必須消除價格變動因素的影響,才能正確的反映實物量的變化。也就是說必須用可比價格(如用不變價或用價格指數調整)計算不同年份相同產品的價值,然後才能進行對比。
為了觀察我國經濟發展的波動軌跡,可將各年國內生產總值的發展速度編制時間數列,並據以繪製成曲線圖,令人得到直觀認識。
四、指數分析法
指數是指反映社會經濟現象變動情況的相對數。有廣義和狹義之分。根據指數所研究的范圍不同可以有個體指數、類指數與總指數之分。
指數的作用:一是可以綜合反映復雜的社會經濟現象的總體數量變動的方向和程度;二是可以分析某種社會經濟現象的總變動受各因素變動影響的程度,這是一種因素分析法。操作方法是:通過指數體系中的數量關系,假定其他因素不變,來觀察某一因素的變動對總變動的影響。
用指數進行因素分析。因素分析就是將研究對象分解為各個因素,把研究對象的總體看成是各因素變動共同的結果,通過對各個因素的分析,對研究對象總變動中各項因素的影響程度進行測定。因素分析按其所研究的對象的統計指標不同可分為對總量指標的變動的因素分析,對平均指標變動的因素分析。
五、平衡分析法
平衡分析是研究社會經濟現象數量變化對等關系的一種方法。它把對立統一的雙方按其構成要素一一排列起來,給人以整體的概念,以便於全局來觀察它們之間的平衡關系。平衡關系廣泛存在於經濟生活中,大至全國宏觀經濟運行,小至個人經濟收支。平衡種類繁多,如財政平衡表、勞動力平衡表、能源平衡表、國際收支平衡表、投入產出平衡表,等等。平衡分析的作用:一是從數量對等關繫上反映社會經濟現象的平衡狀況,分析各種比例關系相適應狀況;二是揭示不平衡的因素和發展潛力;三是利用平衡關系可以從各項已知指標中推算未知的個別指標。
六、綜合評價分析
社會經濟分析現象往往是錯綜復雜的,社會經濟運行狀況是多種因素綜合作用的結果,而且各個因素的變動方向和變動程度是不同的。如對宏觀經濟運行的評價,涉及生活、分配、流通、消費各個方面;對企業經濟效益的評價,涉及人、財、物合理利用和市場銷售狀況。如果只用單一指標,就難以作出恰當的評價。
進行綜合評價包括四個步驟:
1.確定評價指標體系,這是綜合評價的基礎和依據。要注意指標體系的全面性和系統性。
2.搜集數據,並對不同計量單位的指標數值進行同度量處理。可採用相對化處理、函數化處理、標准化處理等方法。
3.確定各指標的權數,以保證評價的科學性。根據各個指標所處的地位和對總體影響程度不同,需要對不同指標賦予不同的權數。
4.對指標進行匯總,計算綜合分值,並據此作出綜合評價。
七、景氣分析
經濟波動是客觀存在的,是任何國家都難以完全避免的。如何避免大的經濟波動,保持經濟的穩定發展,一直是各國政府和經濟之專家在宏觀調控和決策中面臨的重要課題,景氣分析正是適應這一要求而產生和發展的。景氣分析是一種綜合評價分析,可分為宏觀經濟景氣分析和企業景氣調查分析。
宏觀經濟景氣分析。是國家統計局20世紀80年代後期開始著手建立監測指標體系和評價方法,經過十多年時間和不斷完善,已形成制度,定期提供景氣分析報告,對宏觀經濟運行狀態起到晴雨表和報警器的作用,便於國務院和有關部門及時採取宏觀調控措施。以經常性的小調整,防止經濟的大起大落。
企業景氣調查分析。是全國的大中型各類企業中,採取抽樣調查的方法,通過問卷的形式,讓企業負責人回答有關情況判斷和預期。內容分為兩類:一是對宏觀經濟總體的判斷和預期;一是對企業經營狀況的判斷和預期,如產品訂單、原材料購進、價格、存貨、就業、市場需求、固定資產投資等。
八、預測分析
宏觀經濟決策和微觀經濟決策,不僅需要了解經濟運行中已經發生了的實際情況,而且更需要預見未來將發生的情況。根據已知的過去和現在推測未來,就是預測分析。
統計預測屬於定量預測,是以數據分析為主,在預測中結合定性分析。統計預測的方法大致可分為兩類:一類是主要根據指標時間數列自身變化與時間的依存關系進行預測,屬於時間數列分析;另一類是根據指標之間相互影響的因果關系進行預測,屬於回歸分析。
預測分析的方法有回歸分析法、滑動平均法、指數平滑法、周期(季節)變化分析和隨機變化分析等。比較復雜的預測分析需要建立計量經濟模型,求解模型中的參數又有許多方法。
D. 數據分析和機器學習是什麼關系,兩者的前景如何
首先呢這兩者的第一個區別就是他們處理的數據特點不一樣。那麼怎麼可以簡單地理解呢?
首先從我們的傳統上。數據分析他們所處理的是交易數據,而我們機器學習處理的則是行為數據。那麼,什麼是交易數據,什麼是行為數據呢?比如說對於一個電商來說,他的用戶交易數據就是下單,比如說對於銀行這樣的系統來說,他的交易數據就是用戶的存取款賬單,再比如對於電信系統來說交易數據就是和用戶的消費賬單有關。總的來說,交易數據本質就是和錢有關的數據。
那麼什麼是行為數據呢?比如對於一個互聯網公司來說,用戶的行為數據就包括了用戶的搜索歷史,瀏覽歷史,點擊歷史或者是評論歷史等這些用戶的行為數據。
從這兩種數據中就開始衍生出下類的兩種區別,首先從數據量上來說,他們就不是一種量級的,那麼從交易數據來說,他只能算是一個少量的數據或者談不上海量的數據,而用戶的行為數據呢,則是一個海量的數據。那麼請想像一下,你每天看多少視頻,瀏覽多少網頁,你會發多少帖子,你會搜索多少次,同時來對比下你每天下幾次訂單,二者之間的對比,高下立判,這其實就是實際上就是交易數據和行為數據的一種明顯的對比。這就好像前幾年,大家公司之間好像沒什麼業務的變化,結果搖身一變就成為了大數據公司了,那就是因為我們把用戶的行為數據一下子收集起來,這樣的數據量一下子猛增起來了,其實本質上來說用戶的交易數據並沒有發生多少的變化,但是由於我們關注了用戶的行為數據,所以現在搖身一變就成為了大數據公司了。
其實對於這兩種數據分析的方法其實也是不一樣的。
這是從數據本身我們來分析機器學習和數據分析兩者的區別
然後我么再看第二個區別,解決的業務問題不同
那麼對於傳統的數據分析來說他們更多的是來報告歷史上發生了什麼事情,而對於機器學習來說,更多的是預測未來可能會發生的事情,這是二者的本質的區別。
第三點不同是兩者採取的技術手段不同。
對於傳統的數據分析,他對於數據的分析方法完全就是由用戶驅動的,這里的用戶其實是指企業的那些用戶分析師,其數據的分析幾乎都是靠他的經驗驅動的,而分析方式呢,大多數就是互動式分析,工具通常就是OLAP的工具。正是因為數據分析的很大的原因是因為分析師的經驗判斷,就受限於你這個分析師的分析水平,另外一點就是因為人來做,這就限制了我們分析的用戶的容量和用戶的總數。
但是現在這個數據分析是一種比較成熟的技術了,但是相對來說,這也是一種比較落伍的技術了
我們再看機器學習,他的主要的分析方法技術主要是靠演算法和數據驅動的,他會自動的進行知識發現,並且判斷出來的數據維度量可能是你想像不到的大,就跟我們現在所判斷的用戶行為的點擊預估,在這個裡面,可能會有上百位,上千萬甚至上億的一種維度,對於網路這樣的規模公司,每一次預測可能就會有十億次的分析,這個如果靠人是根本無法想像到的有這么大的規模。而這樣的規模就只能考機器去做。
E. 大數據分析方法有哪些,大數據分析方法介紹
描述型分析:最常見的分析方法。在業務中,這種方法向數據分析師提供了重要指標和業務的衡量方法。例如,每月的營收和損失賬單。數據分析師可以通過這些賬單,獲取大量的客戶數據。了解客戶的地理信息,就是「描述型分析」方法之一。利用可視化工具,能夠有效的增強描述型分析所提供的信息。
診斷型分析:通過評估描述型數據,診斷分析工具能夠讓數據分析師深入地分析數據,鑽取到數據的核心。良好設計的BI dashboard能夠整合:按照時間序列進行數據讀入、特徵過濾和鑽取數據等功能,以便更好的分析數據。
預測型分析:預測型分析主要用於進行預測。事件未來發生的可能性、預測一個可量化的值,或者是預估事情發生的時間點,這些都可以通過預測模型來完成。
指令型分析:指令模型基於對「發生了什麼」、「為什麼會發生」和「可能發生什麼」的分析,來幫助用戶決定應該採取什麼措施。通常情況下,指令型分析不是單獨使用的方法,而是前面的所有方法都完成之後,最後需要完成的分析方法。
F. 大數據掘金之中的數據分析方法不哪些
數據挖掘最常見的十種方法:
1、基於歷史的MBR分析(Memory-Based Reasoning;MBR)
基於歷史的MBR分析方法最主要的概念是用已知的案例(case)來預測未來案例的一些屬性(attribute),通常找尋最相似的案例來做比較。
2、購物籃分析(Market Basket Analysis)
購物籃分析最主要的目的在於找出什麼樣的東西應該放在一起?商業上的應用在藉由顧客的購買行為來了解是什麼樣的顧客以及這些顧客為什麼買這些產品,找出相 關的聯想(association)規則,企業藉由這些規則的挖掘獲得利益與建立競爭優勢。舉例來說,零售店可藉由此分析改變置物架上的商品排列或是設計 吸引客戶的商業套餐等等。
3、決策樹(Decision Trees)
決策樹在解決歸類與預測上有著極強的能力,它以法則的方式表達,而這些法則則以一連串的問題表示出來,經由不斷詢問問題最終能導出所需的結果。典型的決策 樹頂端是一個樹根,底部有許多的樹葉,它將紀錄分解成不同的子集,每個子集中的欄位可能都包含一個簡單的法則。此外,決策樹可能有著不同的外型,例如二元 樹、三元樹或混和的決策樹型態。
4、遺傳演算法(Genetic Algorithm)
遺傳演算法學習細胞演化的過程,細胞間可經由不斷的選擇、復制、交配、突變產生更佳的新細胞。基因演算法的運作方式也很類似,它必須預先建立好一個模式,再經 由一連串類似產生新細胞過程的運作,利用適合函數(fitness function)決定所產生的後代是否與這個模式吻合,最後僅有最吻合的結果能夠存活,這個程序一直運作直到此函數收斂到最佳解。基因演算法在群集 (cluster)問題上有不錯的表現,一般可用來輔助記憶基礎推理法與類神經網路的應用。
5、聚類分析(Cluster Detection)
這個技術涵蓋范圍相當廣泛,包含基因演算法、類神經網路、統計學中的群集分析都有這個功能。它的目標為找出數據中以前未知的相似群體,在許許多多的分析中,剛開始都運用到群集偵測技術,以作為研究的開端。
6、連接分析(Link Analysis)
連接分析是以數學中之圖形理論(graph theory)為基礎,藉由記錄之間的關系發展出一個模式,它是以關系為主體,由人與人、物與物或是人與物的關系發展出相當多的應用。例如電信服務業可藉 連結分析收集到顧客使用電話的時間與頻率,進而推斷顧客使用偏好為何,提出有利於公司的方案。除了電信業之外,愈來愈多的營銷業者亦利用連結分析做有利於 企業的研究。
7、OLAP分析(On-Line Analytic Processing;OLAP)
嚴格說起來,OLAP分析並不算特別的一個數據挖掘技術,但是透過在線分析處理工具,使用者能更清楚的了解數據所隱藏的潛在意涵。如同一些視覺處理技術一般,透過圖表或圖形等方式顯現,對一般人而言,感覺會更友善。這樣的工具亦能輔助將數據轉變成信息的目標。
8、神經網路(Neural Networks)
神經網路是以重復學習的方法,將一串例子交與學習,使其歸納出一足以區分的樣式。若面對新的例證,神經網路即可根據其過去學習的成果歸納後,推導出新的結果,乃屬於機器學習的一種。數據挖掘的相關問題也可采類神經學習的方式,其學習效果十分正確並可做預測功能。
9、判別分析(Discriminant Analysis)
當所遭遇問題它的因變數為定性(categorical),而自變數(預測變數)為定量(metric)時,判別分析為一非常適當之技術,通常應用在解決 分類的問題上面。若因變數由兩個群體所構成,稱之為雙群體 —判別分析 (Two-Group Discriminant Analysis);若由多個群體構成,則稱之為多元判別分析(Multiple Discriminant Analysis;MDA)。
10、羅吉斯回歸分析(Logistic Analysis)
當判別分析中群體不符合正態分布假設時,羅吉斯回歸分析是一個很好的替代方法。羅吉斯回歸分析並非預測事件(event)是否發生,而是預測該事件的機 率。它將自變數與因變數的關系假定是S行的形狀,當自變數很小時,機率值接近為零;當自變數值慢慢增加時,機率值沿著曲線增加,增加到一定程度時,曲線協 率開始減小,故機率值介於0與1之間。
G. 數據智能分析是什麼
智能數據分析,它是指運用統計學、模式識別、機器學習、數據抽象等數據分析工具從數據中發現知識的分析方法。智能數據分析的目的是直接或間接地提高工作效率,在實際使用中充當智能化助手的角色,使工作人員在恰當的時間擁有恰當的信息,幫助他們在有限的時間內作出正確的決定。
智能數據分析的目的是直接或間接地提高工作效率,在實際使用中充當智能化助手的角色,使工作人員在恰當的時間擁有恰當的信息,幫助他們在有限的時間內作出正確的決定。信息系統中積累的大量數據,其原始數據的價值很小,只有通過智能化分析方法抽取其中的精華,才能從數據中挖掘出其中的價值,為人類所利用。