『壹』 如何有效地進行數據挖掘和分析
大數據分析處理解決方案
方案闡述
每天，中國網民通過人和人的互動，人和平台的互動，平台與平台的互動，實時生產海量數據。這些數據匯聚在一起，就能夠獲取到網民當下的情緒、行為、關注點和興趣點、歸屬地、移動路徑、社會關系鏈等一系列有價值的信息。
數億網民實時留下的痕跡，可以真實反映當下的世界。微觀層面，我們可以看到個體們在想什麼，在干什麼，及時發現輿情的弱信號。宏觀層面，我們可以看到當下的中國正在發生什麼，將要發生什麼，以及為什麼？藉此可以觀察輿情的整體態勢，洞若觀火。
原本分散、孤立的信息通過分析、挖掘具有了關聯性，激發了智慧感知，感知用戶真實的態度和需求，輔助政府在智慧城市，企業在品牌傳播、產品口碑、營銷分析等方面的工作。
所謂未雨綢繆，防患於未然，最好的輿情應對處置莫過於讓輿情事件不發生。除了及時發現問題，大數據還可以幫我們預測未來。具體到輿情服務，輿情工作人員除了對輿情個案進行數據採集、數據分析之外，還可以通過大數據不斷增強關聯輿情信息的分析和預測，把服務的重點從單純的收集有效數據向對輿情的深入研判拓展，通過對同類型輿情事件歷史數據，及影響輿情演進變化的其他因素進行大數據分析，提煉出相關輿情的規律和特點。
大數據時代的輿情管理不再局限於危機解決，而是梳理出危機可能產生的各種條件和因素，以及從負面信息轉化成輿情事件的關鍵節點和衡量指標，增強我們對同類型輿情事件的認知和理解，幫助我們更加精準的預測未來。
用大數據引領創新管理。無論是政府的公共事務管理還是企業的管理決策都要用數據說話。政府部門在出台社會規范和政策時，採用大數據進行分析，可以避免個人意志帶來的主觀性、片面性和局限性，可以減少因缺少數據支撐而帶來的偏差，降低決策風險。通過大數據挖掘和分析技術，可以有針對性地解決社會治理難題；針對不同社會細分人群，提供精細化的服務和管理。政府和企業應建立資料庫資源的共享和開放利用機制，打破部門間的「信息孤島」，加強互動反饋。通過搭建關聯領域的資料庫、輿情基礎資料庫等，充分整合外部互聯網數據和用戶自身的業務數據，通過數據的融合，進行多維數據的關聯分析，進而完善決策流程，使數據驅動的社會決策與科學治理常態化，這是大數據時代輿情管理在服務上的延伸。
解決關鍵
如何能夠快速的找到所需信息，採集是大數據價值挖掘最重要的一環，其後的集成、分析、管理都構建於採集的基礎，多瑞科輿情數據分析站的採集子系統和分析子系統可以歸類熱點話題列表、發貼數量、評論數量、作者個數、敏感話題列表自動摘要、自動關鍵詞抽取、各類別趨勢圖表；在新聞類報表識別分析歸類： 標題、出處、發布時間、內容、點擊次數、評論人、評論內容、評論數量等；在論壇類報表識別分析歸類： 帖子的標題、發言人、發布時間、內容、回帖內容、回帖數量等。
解決方案
多瑞科輿情數據分析站系統擁有自建獨立的大數據中心，伺服器集中採集對新聞、論壇、微博等多種類型互聯網數據進行7*24小時不間斷實時採集，具備上千億數據量的數據索引、挖掘分析和存儲能力，支撐政府、企業、媒體、金融、公安等多行業用戶的輿情分析雲服務。因此多瑞科輿情數據分析站系統在這方面有著天然優勢，也是解決信息數量和信息（有價值的）獲取效率之間矛盾的唯一途徑，系統利用各種數據挖掘技術將產生人工無法替代的效果，為市場調研工作節省巨大的人力經費開支。
實施收益
多瑞科輿情數據分析站系統可通過對大數據實時監測、跟蹤研究對象在互聯網上產生的海量行為數據，進行挖掘分析，揭示出規律性的東西，提出研究結論和對策。
『貳』 數據挖掘技術在客戶關系管理中的應用
數據挖掘技術在客戶關系管理中的應用
隨著計算機技術、網路技術、通訊技術和Internet技術的發展，電子商務中 企業內部會產生了大量業務數據，如何從豐富的客戶數據中挖掘有價值的信息，為企業管理者提供有效的輔助決策，是企業真正關心的問題。其中，客戶分類是分析 型客戶關系管理的重要功能之一。通過客戶分類，區分客戶的霞要程度，並針對不同霞要級別的客戶制定專門的營銷方案和客戶關系管理策略，可以幫助企業降低營 銷成本，提高利潤和企業競爭力。客戶也可從食業制定的專門的營銷方案和客戶關系管理策略中獲得適合的交易體驗。數據挖掘是分析型CRM實現其「分析」功能 的必要手段，也是實現客戶分類的有效工具。
1 客戶關系管理(CRM)
CRM(Customer Relation Managemen)是一種旨在改善企業與客戶之間關系的新型管理機制，它實施於企業的市場營銷、銷售、服務與技術支持等領域，它的目標是提供更優質、更快捷的服務吸引並保持客戶，通過業務流程的全面管理降低倉業成本。
在電子商務環 境下，CRM使網站企業在所有的業務環節下更好地滿足客戶需求以及提供更優質的服務，從而使站點企業在這種不存在時空差異的新型商務環境中保留現有客戶和 發掘潛在客戶。以提高市場競爭力。同時CRM又可以提供客戶需求、市場分布、回饋信息等重要信息，為企業和經營活動提供智能化分析的依據，因此，CRM為 企業帶來了成功實現電子商務的基礎。
個性化服務是增強競爭力的有力武器，CRM就是以客戶為中心並為客戶提供最合適的服務。互聯網成為 實施客戶關系管理應用的理想渠道，記住顧客的名字及他們的偏好，根據顧客的不同而提供不同內容，顧客再次光顧的可能性會大大增加。CRM可以增加客戶忠誠 度，提高購買比率，使每個顧客產生更多的購買需求，及更長時間的需求，並提高顧客滿意度。
2 數據挖掘技術
如何對這些海量的數據進行分析發現，為商業決策提供有價值的信息，使企業獲得利潤，強有力的工具就是數據挖掘。
在分析型CRM系統中，數據挖掘是其中的核心技術，數據挖掘是從大量的數據中，抽取出潛在的、有價值的知識、模型或規則的過程。對於企業而言，數據挖掘 可以有助於發現業務發展的趨勢，揭示已知的事實，預測未知的結果，並幫助企業分析出完成任務所需的關鍵因素，以達到增加收入、降低成本，使企業處於更有利 的競爭位置的目的。
2.1 數據挖掘常用的演算法
(1)決策樹(decision tree)決策演算法。決策樹是一個類似於流程圖的樹結構。其中每個內部節點表示在一個屬性上的測試，每個分枝代表一個測試輸出，而每個樹葉節點代表類或類 分布。決策樹演算法包括樹的構造和樹的剪枝，有兩種常用的剪枝方法：先剪枝和後剪枝。
(2)神經網路(Neural Network)。神經網路是一組連接的輸入，輸出單元，其中每個連接都與一個權相連，在學習階段，通過調整神經網路的權，使得能夠預測輸入樣本的正確類標號來學習。
(3)遺傳演算法(Genetic Algorithms)。遺傳演算法根據適者生存的原則，形成由當前群體巾最適合的規則組成新的群體，以及這些規則的後代。遺傳演算法用於分類和其他優化問題。
(4)粗糙集方法。粗糙集方法基於給定訓練數據內部的等價類的建立。它將知識理解為對數據的劃分，每一被劃分的集合稱為概念，利用已知的知識庫來處理或刻臧不精確或不確定的知識。粗糙集用於特徵歸約和相關分析。
(5)模糊集方法。基於規則的分類系統有一個缺點：對於連續屬性，他們有陡峭的截斷。將模糊邏輯引入，允許定義「模糊」邊界，提供了在高抽象層處理的便利。
其它還有貝葉斯網路、可視化技術、臨近搜索方法和公式發現等方法。
2.2 數據挖掘常用的分析方法
(1)分類和預測。主要用於客戶細分(分群)處理，如價值客戶群的分級，分類和預測是兩種數據分析形式，可以用於提取描述重要數據類的模型或預測未來的 數姑趨勢。數據分類(data elassfication)是一個兩步過程，第一步，建立一個模型，描述預定的數據類集或概念集，通過分析有屬性描述的資料庫元組來構造模型。第二步， 使用模型進行分類。首先評估模犁的預測准確率，如果認為模型的准確率可以接受，就可以用來對類標號未知的數據遠祖或對象進行分類。
預測 技術，主要用於對客戶未來行為的發現，如客戶流失分析中，用神經元網路方法學習各種客戶流失前的行為變化，進而預測(預警)可能出現的存價值客戶的流失。 預測足構造和使用模型評估無標號樣本類，或評估給定樣本可能具有的屬性值或值區間。分類和預測具有廣泛的應用，如信譽證實、醫療診斷、性能預測和選擇購 物。分類和預測常用的演算法包括決策樹歸納、貝葉斯分類、貝葉斯網路、神經網路、K-最臨近分類、遺傳演算法、粗糙集和模糊集技術。
(2) 聚類分析。聚類是將數據對象分組成為多個類或簇(cluster)，在同一個簇中的對象之同具有較高的相似度，而不周簇中的對象差別較大。作為統計學的一 個分支，聚類分析已被廣泛的研究了許多年，現在主要集中在基於距離的聚類分析，基於k-means(k-平均值)、k-medoids(k-中心點)和其 他的一些聚類分析工具也有不少的應用。
(3)關聯規則。關聯規則挖掘給定數據集中項之間的有趣聯系。設I＝{i1，i2，…im}是項 的集合，任務相關的數據D是資料庫事務的集合，其中每個事務T是項的集合，使得T包含於I。關聯規則是形如A=>B的蘊涵式，其中A∈I，B∈I， 並且A∩B為空。關聯規則的挖掘分成兩步：①找出所有頻繁項集，這些項集出現的頻繁性至少和預定義的最小支持計數一樣。②由頻繁項集產生強關聯規則。這些 規則必須滿足最小支持度和最小置信度。
(4)序列模式。序列模式分析和關聯規則分析類似，也是為了挖掘數據項之間的聯系，不過序列模式分析的是數據項在時間維上的先後序列關系，如一個顧客在購買了計算機半年後可能再購買財務分析軟體。
(5)孤立點分析。孤立點是度量錯誤或固有的數據變異性的結果。許多數據挖掘演算法都試圖使孤立點的影響最小，或排除它們。一個人的雜訊可能是另一個人的 信號，在有些時候。孤立點是非常有用的。孤立點挖掘可以描述如下：給定一個n個數據點或對象的集合，以及預期的孤立點的數目k，發現與剩餘的數據相比是顯 著相異的或不一致的頭k個對象。孤立點探測方法可分為三類：統計學方法，基於距離的方法和基於偏移的方法。
3 應用方法
3.1 了解業務
最初的階段，著眼於了解業務特點，並把它還原成為數據分析的條件和參數。例如：在零售行業中，我們的第一個步驟是了解客戶購買的頻率，購買頻率和每次消費金額之間是否有明顯的相關關系。
3.2 分析數據
這個階段著眼於對現有的數據進行規整。我們發現，在不少行業中，可分析的數據和前面提出的分析目標是不匹配的。例如：消費者的月收入水平可能與許多購買 行為相關，但是，原始的數據積累中卻不一定具備這螳數據。對這一問題的解決方法是從其它的相關數據中進行推理，例如，通過抽樣調查，我們發現，一次性購買 大量衛生紙的客戶，其月收入水平集中在1000-3000RMB的檔次，如果這一結論基本成立。我們可以從消費習慣中推理出現有客戶有多大的百分比是月收 入水平在這個檔次中的；另外，可以根據抽樣調查的方法。在問卷調查的基礎上推理整個樣本人群的收入水平曲線。
3.3 數據准備
這個階段的著眼點是轉換、清理和導入數據，可能從多個數據源抽取並加以組合，以形成data cube。對於缺失的少量數據，是用均值補齊，還是忽略，還是按照現有樣本分配，這是在這個階段需要處理的問題之一。
3.4 建模
現在已經有各種各樣的模型方法可以利用。讓最好的一種應用於我們要著眼的主要問題中。是這個階段的主要任務。例如，對於利潤的預測是否應當採用回歸方式預測，預測的基礎是什麼等，這些問題需要行業專家和數據分析專家協商並達成共識。
3.5 評估與應用
優秀的評估方法是利用不同的時間段，讓系統對已經發生的消費情況進行預測，然後比較預測結果和實際狀況，這樣模型的評估就容易進行了。完成了上述的步驟 之後，多數的分析工具都支持保存並重復應用已經建立起來的模型。更為重要的是，在這個過程中，對數據分析的方法和知識應當已經由客戶方的市場分析人員或決 策者所了解，我們提供的，不僅僅是最終結果，而且是獲得這一結果的方法。「要把金針度與人」正是TurboCRM咨詢服務不同於單純的軟體提供商的區別所 在。
最後，在軟體架構方面，分析資料庫與運營資料庫應當是分離的，避免影響運營資料庫在操作方面的的實時響應速度。
4 結束語
數據挖掘可以把大量的客戶分成不同的類，在每個類里的客戶擁有相似的屬性，而不同類里的客戶的屬性也不同，可以給這兩類客戶提供完全不同的服務來提高客戶的滿意度，細致而切實可行的客戶分類對企業的經營策略有很大益處。
『叄』 數據挖掘技術與客戶關系管理的應用綜述
數據挖掘技術與客戶關系管理的應用綜述
企業通過實施客戶關系管理，可以降低成本，增加收入，提高業務運作效率。對於每一個面臨競爭的公司，數據倉庫是必須最終擁有的市場武器。通過它可以更多地了解客戶的需求以及處理這些需求的方法。數據挖掘能夠對將來的趨勢和行為進行預測，從而很好地支持人們的決策。作為專門管理企業前台的客戶關系管理為企業提供了一個收集、分析和利用各種客戶信息的系統，幫助企業充分利用其客戶管理資源，也為企業在電子商務時代從容自如地面對客戶提供了科學手段和方法。建立和維持客戶關系是取得競爭優勢的唯一的最重要的基礎， 這是網路化經濟和電子商務對傳統商業模式變革的直接結果。
1 客戶關系管理（CRM）
1.1 內容
CRM的概念由美國Gartner集團率先提出。我們認為，CRM是辨識、獲取、保持和增加「可獲利客戶」的理論、實踐和技術手段的總稱。它既是一種國際領先的、以「客戶價值」為中心的企業管理理論、商業策略和企業運作實踐，也是一種以信息技術為手段、有效提高企業收益、客戶滿意度、雇員生產力的管理軟體。
客戶關系管理（CRM）源於以「客戶為中心」的新型商業模式，是一種旨在改善企業與客戶之間關系的新型管理機制。通過向企業的銷售、市場和客戶服務的專業人士提供全面、個性化的客戶資料，並強化跟蹤服務、信息分析的能力，使他們能夠協同建立和維護一系列與客戶和生意夥伴之間卓有成效的「一對一關系」，使企業得以提供更快捷和周到的優質服務、提高客戶滿意度、吸引和保持更多的客戶，增加營業額。通過信息共享和優化商業流程有效地降低企業經營成本。
1.2 CRM解決方案的組成
CRM作為企業管理系統軟體，通常由以下三部分組成：
（1）網路化銷售管理系統（Sales Distributor Management，SDM）。該模塊以市場和銷售業務為主導，對銷售的流程進行了詳細的管理，是銷售管理人員進行管理和銷售業務員銷售自動化的重要工具。它實現了銷售過程中對客戶的集中管理和協同管理，銷售管理人員可以隨時對銷售情況進行分析，具體功能包括客戶接待管理、報價單處理、銷售合同管理、回款單處理、綜合查詢功能、綜合統計功能。
（2）客戶服務管理系統（Customer Service Management，CSM）。該模塊主要對企業的售後服務進行管理，加快售後服務的響應速度，提高客戶滿意度，對服務人員進行考核，加強對產品質量的監督。
客戶服務系統最典型的代表就是呼叫中心環境，通過呼叫中心環境布署並且實現基於電話、Web的自助服務。它們使企業能夠以更快的速度和更高的效率來滿足其客戶的獨特需求。由於在多數情況下，客戶忠實度和是否能從該客戶身上贏利取決於企業能否提供優質的服務，因此，客戶服務和支持對許多企業就變得十分關鍵。
（3）企業決策信息系統（Executive Information System，EIS）。隨著電子商務時代的到來， 各行各業業務操作流程的自動化，企業內產生了數以幾十或上百GB計的大量業務數據。這些數據和由此產生的信息是企業的財富，它如實地記錄著企業運作的本質狀況。但是面對如此海量的數據，迫使人們不斷尋找新的工具，來對企業的運營規律進行探索，為商業決策提供有價值的知識，使企業獲得利潤。能滿足企業這一迫切需求的強有力的工具就是數據挖掘。
1.3 CRM的實施
CRM項目的實施可以分為3步：①應用業務集成。將獨立的市場管理，銷售管理與售後服務進行集成，提供統一的運作平台。將多渠道來源的數據進行整合，實現業務數據的集成與共享；②業務數據分析。對CRM系統中的數據進行加工、處理與分析這將使企業受益匪淺。對數據的分析可以採用OLAP的方式進行，生成各類報告。也可以採用業務數據倉庫（Business Information Warehouse）的處理手段，對數據做進一步的加工與數據挖掘，分析各數據指標間的關聯關系，建立關聯性的數據模型用於模擬和預測；③決策執行。依據數據分析所提供的可預見性的分析報告，企業可以將在業務過程中所學到的知識加以總結利用，對業務過程和業務計劃等做出調整。[page] 2數據挖掘
2.1 什麼是數據挖掘
數據挖掘（data mining）是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數據挖掘就是從大量數據中獲取有效的、新穎的、潛在有用的、最終可理解模式的非平凡過程。數據挖掘的廣義觀點：數據挖掘就是從存放在資料庫，數據倉庫或其它信息庫中的大量的數據中「挖掘」有趣知識的過程。數據挖掘，又稱為資料庫中知識發現（Knowledge Discovery in Database，KDD），也有人把數據挖掘視為資料庫中知識發現過程的一個基本步驟。知識發現過程由以下步驟組成：
①數據清理；②數據集成；③數據選擇；④數據變換；⑤數據挖掘；⑥模式評估；⑦知識表示。數據挖掘可以與用戶或知識庫交互。數據挖掘就是為順應這種需要應運而生發展起來的數據處理技術。在客戶關系管理（CRM）中，數據挖掘的應用是非常廣泛的。CRM中的客戶分類，客戶贏利率分析，客戶識別與客戶保留等功能都要藉助數據挖掘來實現。
2.2數據挖掘在CRM中的應用
比較典型的數據挖掘方法有關聯分析、序列模式分析、分類分析、聚類分析等。它們可以在以客戶為中心的企業決策分析和管理的各個不同領域與階段得到應用。
2.2.1 關聯分析
關聯分析，即利用關聯規則進行數據挖掘。關聯分析的目的是挖掘隱藏在數據間的相互關系，它能發現資料庫中形如「90％的顧客在一次購買活動中購買商品A的同時購買商品B」之類的知識。
2.2.2 序列模式分析
序列模式分析和關聯分析相似，但側重點在於分析數據間的前後序列關系。它能發現資料庫中形如「在某一段時間內，顧客購買商品A，接著購買商品B，而後購買商品C，即序列A→B→C出現的頻度較高」之類的知識。序列模式分析描述的問題是：在給定交易序列資料庫中，每個序列是按照交易時間排列的一組交易集， 挖掘序列函數作用在這個交易序列資料庫上，返回該資料庫中出現的高頻序列。在進行序列模式分析時，同樣也需要由用戶輸入最小置信度C和最小支持度S。
2.2.3 分類分析
設有一個資料庫和一組具有不同特徵的類別（標記），該資料庫中的每一個記錄都賦予一個類別的標記，這樣的資料庫稱為示例資料庫或訓練集。分類分析就是通過分析示例資料庫中的數據，為每個類別做出准確的描述或建立分析模型或挖掘出分類規則，然後用這個分類規則對其它資料庫中的記錄進行分類。
2.2.4 聚類分析
聚類分析輸入的是一組未分類記錄，並且這些記錄應分成幾類事先也不知道，通過分析資料庫中的記錄數據，根據一定的分類規則，合理地劃分記錄集合，確定每個記錄所在類別。它所採用的分類規則是由聚類分析工具決定的。採用不同的聚類方法，對於相同的記錄集合可能有不同的劃分結果。
3 結束語
應用數據挖掘技術，較為理想的起點就是從一個數據倉庫開始。這個數據倉庫，裡面應保存著所有客戶的合同信息，並且還應該有相應的市場競爭對手的相關數據。數據挖掘可以直接跟蹤數據，輔助用戶快速作出商業決策。用戶還可以在更新數據的時候不斷發現更好的行為模式，並將其運用於未來的決策當中。