⑴ 有哪些數據預處理的方法
1、數據清理數據清理(data cleaning) 的主要思想是通過填補缺失值、光滑雜訊數據，平滑或刪除離群點，並解決數據的不一致性來“清理“數據。如果用戶認為數據時臟亂的，他們不太會相信基於這些數據的挖掘結果，即輸出的結果是不可靠的。
2、數據集成
數據分析任務多半涉及數據集成。數據集成將多個數據源中的數據結合成、存放在一個一致的數據存儲，如數據倉庫中。這些源可能包括多個資料庫、數據方或一般文件。
3、數據規約
數據歸約技術可以用來得到數據集的歸約表示，它小得多，但仍接近地保持原數據的完整性。 這樣，在歸約後的數據集上挖掘將更有效，並產生相同(或幾乎相同)的分析結果。
4、數據變換
數據變換包括對數據進行規范化，離散化，稀疏化處理，達到適用於挖掘的目的。
⑵ 數據預處理
在數據挖掘中，海量的原始數據中存在大量不完整（有缺失值）、不一致、有異常的數據，會嚴重影響到數據挖掘建模的執行效果，甚至會導致挖掘結果的偏差，進而數據清洗就變得尤為重要。在數據清洗完成後接著甚至同時進行數據集成、變換、規約等一系列的處理，而整個過程稱之為 數據預處理 。在整個數據挖掘過程中，數據預處理工作大致占據整個過程的 60% 。
一般來說，數據預處理的主要包括如下內容： 數據清洗、數據集成、數據變換、數據規約。
接下來的內容，我們也是從這幾方面闡述。
常見的缺失值處理方法： 刪除法、替換法、插補法等
（1）、刪除法： 最簡單的缺失值處理方法。從不同角度進行數據處理劃分：
<code>
缺失值的處理
inputfile$date=as.numeric(inputfile$date)#將日期轉換成數值型變數
sub=which(is.na(inputfile$sales))#識別缺失值所在行數
inputfile1=inputfile[-sub,]#將數據集分成完整數據和缺失數據兩部分
inputfile2=inputfile[sub,]
行刪除法處理缺失，結果轉存
result1=inputfile1
</code>
（2）、替換法
一般根據屬性將變數分：數值型和非數值型
在數據挖掘過程中，可能會存在數據分布在不同的數據源中，而這個時候需要將多個數據源合並存放在一個一致的數據存儲（如數據倉庫），整個過程稱之為 數據集成 。
【
數據倉庫：
關於數據倉庫構思
漫談數據倉庫之維度建模
漫談數據倉庫之拉鏈表（原理、設計以及在Hive中的實現）
】
在R中，通過將存儲在兩個數據框中的數據以關鍵字為依據，以行為單位做列向合並，直接通過merge()函數完成。
merge(數據框1，數據框2，by="關鍵字")，而合並後的新數據自動按照關鍵字取值大小升序排列。不過在數據集成過程中存在表達形式不一樣，導致不能直接完成匹配，就需要我們進行加以轉換、提煉、集成等操作。具體從如下幾方面：
（1）、實體識別
從不同數據源識別出現實世界的實體，來完成統一不同源的數據矛盾之處。
實體識別承擔著檢測和解決這些沖突的任務
（2）、冗餘屬性識別
數據變換主要對數據進行規范化處理、連續變數的離散化以及屬性屬性的構造，將數據轉換成「適當的」形式，來滿足挖掘任務及演算法的需要。
（1）、簡單函數變換
對原始數據進行某些數學函數變換，常見平方、開方、取對數、差分運算等等
主要來完成不具有正態分布變換服從正態分布；非平穩序列變為平穩序列等等
（2）、數據規范化
為了清除指標之間的量綱和取值范圍差異的影響，需要進行標准化處理，將數據按照比例進行縮放，使之落入一個特定區域，便於進行綜合分析。
常見方法如下：
<code>
讀取數據
data=read.csv('./data/normalization_data.csv',he=F)
最小-最大規范化
b1=(data[,1]-min(data[,1]))/(max(data[,1])-min(data[,1]))
b2=(data[,2]-min(data[,2]))/(max(data[,2])-min(data[,2]))
b3=(data[,3]-min(data[,3]))/(max(data[,3])-min(data[,3]))
b4=(data[,4]-min(data[,4]))/(max(data[,4])-min(data[,4]))
data_scatter=cbind(b1,b2,b3,b4)
零-均值規范化
data_zscore=scale(data)
小數定標規范化
i1=ceiling(log(max(abs(data[,1])),10))#小數定標的指數
c1=data[,1]/10^i1
i2=ceiling(log(max(abs(data[,2])),10))
c2=data[,2]/10^i2
i3=ceiling(log(max(abs(data[,3])),10))
c3=data[,3]/10^i3
i4=ceiling(log(max(abs(data[,4])),10))
c4=data[,4]/10^i4
data_dot=cbind(c1,c2,c3,c4)
</code>
（3）、連續屬性離散化
在數據的取值范圍內設定若干個離散的劃分點，將取值范圍劃分為不同的離散化的區間，最後使用不同的符號或數值代表落在不同區間的數據值。
常見離散方法：
（4）、屬性構造
利用已有的屬性構造出新的屬性
（5）、小波變換（本次不進行闡述）
數據規約在大數據集上產生更小的且保持原數據完整性的新數據集，提升在數據集合上進行分析和挖掘的效率。
意義如下：
⑶ 數據挖掘常用的軟體有哪些
1、Rapid Miner
Rapid Miner是一個數據科學軟體平台，為數據准備、機器學習、深度學習、文本挖掘和預測分析提供一種集成環境。它是領先的數據挖掘開源系統之一。該程序完全用Java編程語言編寫。該程序提供了一個選項，以便用戶試用大量可任意嵌套的操作符，這些操作符在XML文件中有詳細說明，可由Rapid Miner的圖形用戶界面來構建。
2、Orange
Orange是一個開源數據可視化、機器學習和數據挖掘工具包。它有一個可視化編程前端，可用於探索性數據分析和互動式數據可視化。Orange是一個基於組件的可視化編程軟體包，用於數據可視化、機器學習、數據挖掘和數據分析。Orange組件稱為窗口組件，范圍廣泛：從簡單的數據可視化、子集選擇和預處理，到學習演算法和預測建模的評估，不一而足。Orange的可視化編程通過界面來進行，其中工作流程通過連接預定義或用戶設計的窗口組件來創建，而高級用戶可以將Orange用作Python庫，以便操縱數據和更改窗口組件。
3、Kaggle
Kaggle是世界上數據科學家和機器學習者社區。Kaggle以開設機器學習競賽起家，但現在逐漸變成基於公共雲的數據科學平台。Kaggle是一個平台，有助於解決難題、招募強大的團隊並宣傳數據科學的力量。
4、Weka
懷卡托知識分析環境(Weka)是紐西蘭懷卡託大學開發的一套機器學習軟體。該軟體用Java編寫。它含有一系列面向數據分析和預測建模的可視化工具和演算法，附帶圖形用戶界面。Weka支持幾種標准數據挖掘任務，更具體地說是指數據預處理、聚類、分類、回歸、可視化和特徵選擇。
關於數據挖掘常用的軟體有哪些，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。
⑷ 大數據預處理有哪些技術及方法呢
1）數據清理
數據清理常式就是通過填寫缺失值、光滑雜訊數據、識別或者刪除離群點，並且解決不一致性來進行「清理數據」。
2）數據集成
數據集成過程將來自多個數據源的數據集成到一起。
3）數據規約
數據規約是為了得到數據集的簡化表示。數據規約包括維規約和數值規約。
4）數據變換
通過變換使用規范化、數據離散化和概念分層等方法，使得數據的挖掘可以在多個抽象層面上進行。數據變換操作是提升數據挖掘效果的附加預處理過程。
1）缺失值
對於缺失液蔽消值的處理，一般是能補的就想辦法把它補上，實在補不上的就丟棄處理。
通常的處理方法有：忽略元組、人工填寫缺失值、使用一個全局變數填充缺失值、使用屬性的中心度量填充缺失值、使用與給定元組屬同一類的所有樣本的屬性均值或中位數、使用最可能的值填充缺失值。
2）雜訊數據
雜訊是被測量變數的隨機誤差或方差。去除雜訊、使數據「光滑」的技術有分箱、回歸、離群點分析等。
3）數據清理過程
這個環節主要包括數據預處理、清理方法、校驗清理方法、執行清理工具及數據歸檔。
數據清理的原理是通過分析「無效數據」產生的原因和存在形式，利用現有的技術手段和方法去清理，將「無效數據」轉化為滿足數據質量或應用要求的數據，從而提高數據集的數據質量。
常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。
4）模型構建數據統計分析
數據統計為模型構建提供基礎，只有通過數據統計分析探索到了數據中隱藏的規律，深度學習才有意義，人工智慧才有可能。
數據統計又包括數據分析與結果分析，基本的分析方法有：對比分析法、分組分析法、交叉分析法、因素分析法、結構分析法、漏斗圖分析法、矩陣關聯分析法、綜合評價分析法等。
高級的分析方法有：主成分分析法、因子分析法、對應分析法、相關分析法、回歸分析法、聚類分析法、判別分析法、時間序列等。這些類別並不是獨一使用的，往往是混合使用的，然後再通過進一步鬧知的分析對比從中挑選某些組合模型。
5）數據可視化
數據可視化，就是通過一些可視化圖形或者報表形式進行並慧展示，增強對分析結果的理解。再針對結果進行進一步的數據再分析，使得整個業務環節形成閉環。只有閉環的數據才能真正發揮出深度學習的效用。