數據科學家常用方法總結

『壹』 九個成為數據科學家的必備技能

九個成為數據科學家的必備技能
Works詳細列舉了從僱主角度看來，數據科學家加強自身市場競爭力所必備的9個數據科學技能。
過去一年中人們對數據科學的興趣驟然增長。Nate Silver這個名字已經家喻戶曉，所有公司都在尋找獨角獸，很多不同學科的專業人才都開始關注這份薪水豐厚的職業，並將其當作自己可能的職業選擇。
在Burtch Works開展招聘工作時，我們與很多想要在數據科學這一成長性領域有所發展的分析學專家探討過，對具體的實施方案提出了疑問。我從招聘者的角度列出了在數據科學方面對成功十分關鍵，並且是招聘經理首先考慮的一些技術類與非技術類技能。
各公司在技能與工具的價值評判上都不盡相同，因此這個列表絕對談不上詳盡，不過在這些領域有過經驗的人會在數據科學上佔有更大的優勢。
技術技能：分析學
1、教育——數據科學家受教育程度都很高，其中88%至少擁有碩士學位，46%有博士學位。雖然有一些名人特例，不過通常來說成為一名數據科學家需要扎實的教育背景，才能掌握所需的深度知識。最常見的研究領域包括數學與統計學（32%），其次是計算機科學（19%）以及工程學（16%）。
2、SAS軟體與/或R語言——對其中至少一種分析工具有深入的了解，一般對數據科學檔飢來說R語言更好一些。
技術能力：計算機科學
3、都是公司在招聘數據科學類角色時最常提出的語言要求。
4、Hadoop平台——盡管不是總有這個需求，不過在很多情況下掌握它的人優勢更大。熟悉Hive或Pig也是很有利的賣點。熟悉類似Amazon S3這樣的雲工具也會很有優勢。
5、SQL資料庫/編程——盡管NoSQL和Hadoop已經成為了數據科學很大的組成部分之一，招聘者還是希望能夠找到可以編寫與執行SQL復雜查詢的候選人。
6、非結構化數據——數據科學家能夠處理非結構化數據這一點非常重要，無論這些數據是來自社交媒體、視頻源或者音頻的。
非技術類技能
7、求知慾——毫無疑問最近到處都能看到這個詞，尤其是在與數據科學家關聯時。Frank Lo在幾個月前的博文中描述了這個詞的含義，並且討論了其他必須的「軟技能」。
8、商業智慧——想要成為數據科學家，需要充分了解自己工作的行業，並且知道公司想要解決的商業問題是哪些。能夠根據數據科學分辨出解決哪些問題對公司來說更為重要，並且能夠找出利用數據的新辦法，這些是非常關鍵的。
9、通用技能——尋找優秀數據科學家的公司想要的是這樣的人材：能夠清楚順暢地將自己的技術發現轉化為非技術團隊（比如市場部或者銷售部）能夠使用的內容。數據科學家必須能得出可用以決策的量化insight，同時了解非技術團隊的需求，可以恰當地進行溝通以傳達數據。想要了解定量專家在溝通技差哪巧方面的更多信息，請參見我們近期的調查。
一般接下來的問題都是：「怎樣能夠獲得這些技能呢？」網上有很多資源，不過筆者不希望讓讀者產生這樣的錯覺——成為數據科學家非常簡單，上幾節MOOCs就夠了。除非你有扎實的定量經驗，否則成為數據科學家之路還是頗有挑戰的——但也並非不可能。
不過只要你確實對數據有興趣、有激情，並打算將生命投入到相關的學習上，那麼就不要讓經驗背景成為你追求數據科學生涯的阻礙。下面是我們覺得有用的一些資源：
1、高等學位——為了滿足目前的需求，如雨後春筍般出現了更多的數據科學專業的項目，不過數學、統計學與計算機科學專業的項目也有很多。
2、MOOCs——Coursera、Udacity還有codeacademy都是不錯的入門方式。
3、證書——KDnuggets編寫了一個很長的列表清單。
4、Bootcamps——想要了解這種方式與學歷項目或MOOCs的對比情況。
5、Kaggle——Kaggle上有數據科學競賽，可以進行演練，用雜亂的真實世界數據來磨練技巧，解決真實的商業問題。僱主對Kaggle排名很行慶返重視，該排名可以被看作是相關的、經過親身實踐的項目工作。
6、LinkedIn小組——加入相關的小組，與數據科學社區的其他成員互動。
7、數據科學中心與KDnuggets——數據科學中心與KDnuggets都是保持與數據科學行業趨勢前沿同步的優秀資源。8、Burtch Works研究：關於數據科學家的薪金，如果想要了解更多信息與當前數據科學家人數統計的話，請下載我們的數據科學家薪金研究報告。

『貳』 數據科學的處理流程

數據科學的處理流程
數據科學家知道把不同的理論和工具有機地結合在一起並最終形成特定的流程，進而依據這個流程完成數據分析工作。
數據科學的整個流程包括這些環節：
數據准備
數據探索
數據表示
數據發現
數據學習
創造數據產品
洞見與結論
結果可視化
數據准備
數據准備雖耗時和無趣，但是至關重要，因為它決定了數據的質量。若是數據的質量得不到保證，後續所有的數據工作都會收到影響。
數據准備包括數據讀入和數據清洗。
數據探索
數據探索用來查看數據內容，從數字化和可視化入手，幫助我們找出數據集中的潛在信息並且確定數據分析的大致方向。
數據表示
數據表示是指選擇合適數據結構存儲數據。這樣做有兩個作用喚讓：
完成從原始數據到數據集的轉化
為後續數據分析提供最優的內存消耗
數據發現
數據發現是提出假設，完成驗證，從數據集中發現特定的規律和模式的步驟。
數據發現使用不同的統計方法來檢驗數據之間關聯的顯著性，通過分析同一數據集中的不同變數或者不同數據集中的交叉信息來得到確信可靠的信息。
數據學習
數據學習主要使用統計方法和機器學習演算法來分析數據集。
無論一個工具有多麼全能和有效，永遠是使用這些分析工具的數據科學家自身的能力使它們發揮作用，才能最終得到有用的結果。
更好地了解這些工具，可以幫助科學家們更理智地選擇學習方法與工具，從而得到更好的結果。
創造數據產品
數據產品是一個由數據和演算法組合而成的產品。
——著名數據科學家Hilary Mason
一個數據產品是一個公司開發出來，可以用於銷售給其他客戶從而賺取回報的東西，這個東西幾乎可以涉及方方面面。
數據產品為什麼有價值？
因為數據產品給客戶提供了非常有用的信息。
如今的數據產品通過高速數據處理，使用最新的演算法以及並行計算等方式來獲得之前人類無法獲得的信息。
一個數據科學家需要挑選出結果中最有價值的相關數據（數據選擇），然後把它包裝成為最終的用戶可以看明白的形式。
一個數據產品其實就好像是一個人人都能隨身帶咐森在身邊的數據分析專家，如果你需要信息的話，可以付很少量的錢來購買一些信息。
如何創造數據產品？
你需要知道你最終的客戶是誰？他們的需求是什麼？
選擇正確的數據和演算法
選擇合適的數據分析工具
有用信息（洞見）的呈現。（想像力很重要）
洞見與結論
洞見和結論是讓分析結果能盡量地被更多的人理解，並且能適用於更多的情況。
結果可視化
結果可視化就是讓更多的觀衡鏈畝看者明白其中信息的意義。
數據探索可視化和結果可視化有很大不同，前者並不知道將會發現什麼，因此需要不斷嘗試；後者對數據處理的目的和數據分析的結論有了深入理解和解讀。
結果可視化，讓數據講故事。

『叄』 5種數據科學家必知的采樣演算法

原文鏈接：The 5 Sampling Algorithms every Data Scientist need to know

假設有1000名學生，其中300名是男生，700名是女生。如果從中抽取出100名，可以對1000名隨機采樣，也可以從男生中選30名，女生中選70名，這就是分層采樣。

假設有一個未畝祥知長度的流數據，只能遍歷一遍，如何從中等概率地選出n個元素

基本想法是維護一個n長的列表，在遍歷流數據的過程中，以一定的概率將流數據中當前遍歷到的元素添加到列表中，或者替換列表中已有的元素。

那麼，問題就是，這個「一定的概率」需要是多少，才能保證每個選中的元素都是等概率的。

我們把問題簡化一下，假設有一個長度為3的流數據，我們從中選擇2個，那麼每個元素被選中的概率都是2/3。採用如下的步驟：

第3個元素替換1的概率是1/3，替換2的概襲耐態率也是1/3，這樣，每個元素被選中的概率都是2/3。

在處理高度不平衡的數據集的時候，經常會用戶重采樣方法，重采樣有降采樣和過采樣兩種。降采樣是從樣本多的類別中刪除樣本，過采樣是向樣本少的類別中添加樣本。

imbalanced-learn(imblearn)是一個處理非平衡數據集的Python包。

Tomek Links 是一組從屬於不同類別的相鄰樣本對。我們可以將這些相鄰的樣本對都刪除，來為分類器提供一個更清晰的分類邊界。

SMOTE (Synthetic Minority Oversampling Technique) 對樣本少的類別合成樣本，這些合成的樣本位於已有樣本的臨近位置上。

在 imblearn 包中還有其他拍源的演算法，比如：

『肆』 Pandas 必知必會的18個實用技巧，值得收藏！

干凈整潔的數據是後續進行研究和分析的基礎。數據科學家們會花費大量的時間來清理數據集，毫不誇張地說，數據清洗會占據他們80%的工作時間，而真正用來分析數據的時間只佔到20%左右。

所以，數據清洗到底是在清陸梁洗些什麼？
通常來說，你所獲取到的原始數據不能直接用來分析，因為它們會有各種各樣的問題，如包含無效信息，列名不規范、格式不一致，存在重復值，缺失值，異常值等.....

本文會給大家介紹一些Python中自帶的Pandas和NumPy庫進行數據清洗的實用技巧。

這是讀取數據的入門級命令，在分析一個數據集的時候，很多信息其實是用不到的，因此，需要去除不必要的行或列。這里以csv文件為例，在導入的時候就可以通過設置pd.read_csv()裡面的參數來實現這個目的。

先來感受一下官方文檔中給出的詳細解釋，裡面的參數是相當的多，本文只介紹比較常用的幾個，感興趣的話，可以好好研究一下文檔，這些參數還是非常好用的，能省去很多導入後整理的工作。

當原始數據的列名不好理解，或者不夠簡潔時，可以用.rename()方法進行修改。這里我們把英文的列名改成中文，先創建一個字典，把要修改的列名定義好，然後調用rename()方法。

數據默認的索引是從0開始的有序整數，但如果想把某一列設置為新的索引，除了可以用read_csv()里的參數index_col，還可以用.set_index()方法實現。

另外補充，如果數據經過刪除或結構調整後，我們可以重置索引，讓索引從0開始，依次排序。

字元串str操作是非常實用的，因為列中總是會包含不必要的字元，常用的方法如下：

str.lower() 是把大寫轉換成小寫，同理，str.upper()是把小寫轉換成大寫，將示例中用大寫字母表示的索引轉換成小寫。

設置首字母大寫

str.replace("a", "") 替換特定字元。這里把列中的a去掉，替換成空字元。

去除字元串中的頭尾空格、以及\n \t。

str.split('x') 使用字元串中的'x'字元作為分隔符，將字元串分隔成列表。這里將列中的值以'.'進行分割。

str.get() 選取列表中某個位置的值。接著上面分割後的結果，我們用str.get(0)取出列表中前一個位置的數值，生成新的一列。

str.contains() 判斷是否存在某個字元，返回的是布爾值。

str.find("-")檢測字元串中是否包含"-"，如果包含，則返回該子字元串開始位置的索引值;如果不包含，則返回-1。

學完基本的字元串操作方法，我們來看一下如何結合NumPy來提高字元串操作的效率。
我們可以將Pandas中的.str()方法與NumPy的np.where函數相結合，np.where函數是Excel的IF()宏的矢量化形式，它的語法如下:

如果condition條件為真，則執行then，否則早備運執行else。這里的condition條件可以是一個類數組的對象，也可以是一個布爾表達式，我們也可以利用np.where函數嵌套多個條件進行矢量化計算和判斷。

接下來就要對列中的字元串進行整理，除了利用循環和.str()方法相結合的方式進行操作，我們還可以選擇用applymap()方法，它會將傳入的函數作用於整個DataFrame所有行列中的每個元素。

先定義函數get_citystate(item)，功能是只提取元素中的有效信息。然後，我們將這個函數傳入applymap()，並應用於df3，滾悄看起來是不是干凈多了，結果如下：

如果你沒聽說過它的話，我不得強調它的重要性。輸入下面的命令：

你會發現df1已經發生了改變。這是因為df2 = df1並不是生成一個df1的復製品並把它賦值給df2，而是設定一個指向df1的指針。所以只要是針對df2的改變，也會相應地作用在df1上。為了解決這個問題，你既可以這樣做：

也可以這樣做：

這個命令用於檢查值的分布。你想要檢查下「c」列中出現的值以及每個值所出現的頻率，可以使用：

下面是一些有用的小技巧/參數：

lsin () 用於過濾數據幀。Isin () 有助於選擇特定列中具有特定（或多個）值的行。
在SQL中我們可以使用 SELECT * FROM … WHERE ID in (『A001』,『C022』, …)來獲取含有指定ID的記錄。如果你也想在Pandas中做類似的事情，你可以使用：

select_dtypes() 的作用是，基於 dtypes 的列返回數據幀列的一個子集。這個函數的參數可設置為包含所有擁有特定數據類型的列，亦或者設置為排除具有特定數據類型的列。

pivot_table( ) 也是 Pandas 中一個非常有用的函數。如果對 pivot_table( ) 在 excel 中的使用有所了解，那麼就非常容易上手了。

如果需要計算樣本的缺失率分布，只要加上參數axis=1

分為分組中有重復值和無重復值兩種。無重復值的情況。

先按Mt列進行分組，然後對分組之後的數據框使用idxmax函數取出Count最大值所在的列，再用iloc位置索引將行取出。有重復值的情況

對ID進行分組之後再對分數應用rank函數，分數相同的情況會賦予相同的排名，然後取出排名為1的數據。

介紹兩種高效地組內排序的方法。

用這種方式轉換第三列會出錯，因為這列里包含一個代表 0 的下劃線，pandas 無法自動判斷這個下劃線。為了解決這個問題，可以使用 to_numeric() 函數來處理第三列，讓 pandas 把任意無效輸入轉為 NaN。
df = df.apply(pd.to_numeric, errors='coerce').fillna(0)

方法一：只讀取切實所需的列，使用usecols參數

方法二：把包含類別型數據的 object 列轉換為 Category 數據類型，通過指定 dtype 參數實現。

希望本文的內容對大家的學習或者工作能帶來一定的幫助，每天進步一點點，加油~

『伍』 數據科學家常用的工具有哪些

1、學科知識：從數據分析涉及到的專業知識點上看，主要是這些：

（1）統計學：參數檢驗、非參檢驗、回歸分析等
（2）數學：線性代數、微積分等鉛禪
（3）社會學：主要是一些社會學量化統計的知識，如問卷調查與統計分析；還有就是一些社會學的知識鎮森，這些對於從事營銷類的數據分析人員比較有幫助
（4）經濟金融：如果是從事這個行業的數據分析人員，經濟金融知識是必須的，這里就不多說了
（5）計算機：從事數據分析工作的人必須了解你使用的數據是怎麼處理出來的，要了解資料庫的結構和基本原理，同時如果條件充足的話，你還能有足夠的能力從資料庫里提取你需要的數據（比如使用SQL進行查詢），這種提取數據分析原材料的能力是每個數據從業者必備的。此外，如果要想走的更遠，還要能掌握一些編程能力，從而借住一些專業的數據分析工具，幫助你完成工作。
2、軟體相關：從事數據分析方面的工作必備的工具是什麼
（1）數據分析報告類：Microsoft Office軟體等，如果連excel表格基本的處理操作都不會，連PPT報告都不會做，那我只好說離數據分析的崗位還差的很遠。現在的數據呈現不再單單只是表格的形式，而是更多需要以可視化圖表去展示你的數據結果，因為數據可視化軟體就不能少，BDP個人版、TABLUEA等這些必備的，就看你自己怎麼選了。
（2）專業數據分析軟體：Office並不是全部，要從在數據分析方面做的比較好，你必須會用（至少要了解）一些比較常用的專業數據分析軟體工具，比如SPSS、SAS、Matlab等等，這些軟體可以很好地幫助我們完成專業性的演算法或模型分析，還有高級的python、R等。
（3）資料庫：hive、hadoop、impala等資料庫相關的知識可以學習；

（4）輔助工具：比如思維導圖軟體（如MindManager、MindNode Pro等）也可以很好地幫助我們整理分析思路。
最重要的是：理論知識+軟體工具=數據分析基礎，最後要把這些數據分析基礎運御激畝用到實際的工作業務中，好好理解業務邏輯，真正用數據分析驅動網站運營、業務管理，真正發揮數據的價值。

『陸』 數據科學家需要掌握的10個基本統計技術

數據科學家需要掌握的10個基本統計技術
無論您在數據的科學性問題上持哪種看法，都無法忽視數據的持續重要性，也不能輕視分析、組織和情境化數據的能力。 根據大量的就業數據和員工反饋信息統計，在「25個最佳美國就業機會」排行榜中，數據科學家排名第一。毫無疑問，數據科學家所做的具體工作內容將會進一步拓展。隨著機器學習等技術變得越來越普遍，深度學習等新興領域對研究人員和工程師的需求得到了巨大的推動，數據科學家們在創新和技術進步的浪潮中再次嶄露頭角。
編碼能力強大是很重要的，但數據科學並不專職於軟體工程(事實上，對Python很熟悉就足夠了)。數據科學家生活在編碼、統計學和批判性思維的交叉點上。正如喬希·威爾斯(JoshWills)所說的那樣：「數據科學家是一個比任何程序員都要好的統計學家，而且比任何統計學家都更擅長編程。」筆者個人知道有太多的軟體工程師希望轉向數據科學家，並盲目利用機器學習框架TensorFlow或Apache Spark，而不透徹理解背後的統計理論。因此出現了「統計學習」，一個與機器學習有關的理論框架，包含統計到功能分析的一系列專業領域。
為什麼學習統計學習?了解各種技術背後的想法是非常重要的，可以讓你知道如何以及何時使用它們。由簡入繁，首先要理解更簡單的方法，才好把握更復雜的方法。准確地評估一種方法的性能，了解它的工作效果多好或者多糟，這一點很重要。此外，這是一個令人興奮的研究領域，在科學，工業和金融領域有著重要的應用。最終，統計學習是培養現代數據科學家的基本要素。統計學習問題的例子有：
確定前列腺癌的危險因素。
根據記錄周期圖對錄制的音素進行分類。
根據人口統計、飲食和臨床測量，預測是否有人會發生心臟病。
自定義垃圾郵件檢測系統。
識別手寫郵政編碼中的數字。
將組織樣本分為幾個癌症類別之一。
建立人口調查數據中工資與人口變數之間的關系。
統計學習和機器學習之間的差異在於：
機器學習是人工智慧的一個子領域。
統計學習是統計學的一個分支。
機器學習更強調大規模應用和預測的准確性。
統計學習強調模型及其可解釋性，精確性和不確定性。
1 - 線性回歸：
在統計學中，線性回歸是一種通過擬合自變數與自變數之間最佳線性關系來預測目標變數的方法。最好的做法是確保每個點的形狀和實際觀測之間的所有距離之和盡可能小。形狀的適合性是「最好的」，因為在形狀的選擇上沒有其他位置會產生較少的誤差。線性回歸的2種主要類型是簡單線性回歸和多元線性回歸。簡單線性回歸使用一個獨立變數來通過擬合最佳線性關系來預測因變數。多重線性回歸使用多個獨立變數來通過擬合最佳線性關系來預測因變數。
選擇你在日常生活中使用的任何兩件相關的東西。如每月支出，月收入和過去三年每月的旅行次數的數據。就需要回答以下問題：
我明年的每月開支是多少?
哪個因素(每月收入或每月旅行次數)在決定我的每月支出時更重要?
月收入和每月旅行如何與每月支出相關聯?
2 - 分類：
分類是一種數據挖掘技術，它將類別分配給數據集合，以助進行更准確的預測和分析。有時也稱為決策樹，分類是用於對非常大的數據集進行分析的幾種方法之一。眼下有2大分類技術脫穎而出：Logistic回歸和判別分析。
Logistic回歸分析是當因變數是二分(二元)時進行的適當的回歸分析。像所有回歸分析一樣，Logistic回歸是預測分析。 Logistic回歸用於描述數據並解釋一個相關二元變數與一個或多個標稱、序數、區間或比例級別的獨立變數之間的關系。邏輯回歸可以檢查的問題類型：
每增加一磅的超重和每天吸一包香煙，肺癌的可能性(是vs否)會發生怎樣的變化?
體重卡路里攝入量，脂肪攝入量和參與者年齡對心臟病發作是否有影響(有vs無)?
在判別分析中，先驗已知2個或更多個組或群或群，並基於所測量的特徵將1個或更多個新觀察分類到1個已知群中。判別分析在每個響應類別中分別對預測因子X的分布進行建模，然後使用貝葉斯定理將它們翻轉為給定X的值的響應類別概率的估計。這樣的模型可以是線性的或二次的。
線性判別分析為每個觀測值計算「判別分數」，以便對它所處的響應變數類別進行分類。這些分數是通過尋找自變數的線性組合得到的。它假設每個類別內的觀察值都來自多變數高斯分布，預測因子的協方差在響應變數Y的所有k水平上是共同的。
二次判別分析提供了一種替代方法。和LDA一樣，QDA假定每個Y類的觀測值都是從高斯分布中得到的。但是，與LDA不同的是，QDA假定每個類都有其自己的協方差矩陣。換句話說，預測因子不被假定在Y中的每個k水平上具有共同的方差。
3 - 重采樣方法：
重采樣是從原始數據樣本中繪制重復樣本的方法。這是統計推斷的非參數方法。換句話說，重采樣方法不涉及使用通用分布表來計算近似p概率值。
重采樣根據實際數據生成唯一的采樣分布。它使用實驗方法而不是分析方法來生成獨特的抽樣分布。它產生無偏估計，因為它是基於研究者所研究數據的所有可能結果的無偏樣本。為了理解重采樣的概念，您應該理解術語Bootstrapping和交叉驗證：
Bootstrapping是一種技術，可以幫助您在很多情況下驗證預測模型的性能、集成方法、估計模型的偏差和方差。它通過對原始數據進行替換來進行采樣，並將「未選擇」的數據點作為測試用例。我們可以做這幾次，並計算平均分作為我們的模型性能的估計。
另一方面，交叉驗證是驗證模型性能的一種技術，它是通過將訓練數據分成k個部分來完成的。我們以k - 1部分作為訓練集，並使用「伸出部分」作為我們的測試集。我們重復k次不同的方式。最後，我們將k分數的平均值作為我們的業績估計。
通常對於線性模型，普通最小二乘法是考慮將它們適合於數據的主要標准。接下來的3種方法是可以為線性模型的擬合提供更好的預測精度和模型可解釋性的替代方法。
4 - 子集選擇：
這種方法確定了我們認為與響應相關的p預測因子的一個子集。然後，我們使用子集特徵的最小二乘擬合模型。
最佳子集選擇：這里我們對每個可能的p預測因子組合進行單獨的OLS回歸，然後查看最終的模型擬合。演算法分為2個階段：(1)擬合所有包含k預測因子的模型，其中k是模型的最大長度;(2)使用交叉驗證的預測誤差選擇單個模型。使用測試或驗證錯誤非常重要，而不是訓練錯誤來評估模型擬合，因為RSS和R 2單調增加更多的變數。最好的方法是在測試誤差估計值上交叉驗證並選擇具有最高R 2和最低RSS的模型。
向前逐步選擇考慮預測因子的一個小得多的子集。它從不含預測因子的模型開始，然後在模型中添加預測因子，直到所有預測因子都在模型中。被添加變數的順序是變數，其給出對擬合的最大的加法改進，直到沒有更多的變數使用交叉驗證的預測誤差來改進模型擬合。
向後逐步選擇開始將模型中的所有預測因子，然後迭代去除最不有用的預測因子。
混合方法遵循向前逐步回歸方法，但是，在添加每個新變數之後，該方法還可以去除對模型擬合沒有貢獻的變數。
5 - 收縮：
這種方法適合一個涉及所有p預測因子的模型，然而，估計系數相對於最小二乘估計向零收縮。這種縮水，又稱正規化，具有減少方差的作用。取決於執行什麼類型的收縮，其中一些系數可能恰好被估計為零。因此這個方法也執行變數選擇。將系數估計收縮為零的兩個最著名的技術是嶺回歸和Lasso。
嶺回歸類似於最小二乘，通過最小化一個稍微不同的數量估計系數。像OLS一樣，嶺回歸尋求降低RSS的系數估計值，但是當系數接近於零時，它們也會有收縮懲罰。這個懲罰的作用是將系數估計收縮到零。不用進入數學計算，知道嶺回歸縮小列空間方差最小的特徵是有用的。像在主成分分析中一樣，嶺回歸將數據投影到雙向空間，然後比高方差分量收縮低方差分量的系數，這相當於最大和最小主分量。
嶺回歸至少有一個缺點：它包括最終模型中的所有p預測值。犯規條款將使它們中的許多接近於零，但不完全為零。這對於預測准確性來說通常不是問題，但它可能使模型更難以解釋結果。 Lasso克服了這個缺點，並且能夠迫使一些系數歸零，只要s足夠小。由於s = 1導致有規律的OLS回歸，當s接近0時，系數收縮為零。因此，Lasso回歸也執行變數選擇。
6 - 維度降低：
維數減少將估計p + 1個系數的問題簡化為M + 1個系數的簡單問題，其中M
可以將主成分回歸描述為從大量變數中導出低維特徵集合的方法。數據的第一個主要組成方向是觀測值變化最大的。換句話說，第一台PC是盡可能接近數據的一條線。人們可以適應不同的主要組成部分。第二個PC是與第一個PC不相關的變數的線性組合，並且受這個約束的變化最大。這個想法是主要的組成部分使用隨後正交方向的數據的線性組合捕獲數據中最大的變化。通過這種方式，我們也可以結合相關變數的效果，從可用數據中獲取更多信息，而在正則最小二乘中，我們將不得不放棄其中一個相關變數。
我們上面描述的PCR方法包括確定最能代表預測因子的X的線性組合。這些組合(方向)以無監督的方式被識別，因為響應Y不用於幫助確定主要組件方向。也就是說，響應Y不監督主成分的識別，因此不能保證最能解釋預測因子的方向對於預測響應(即使經常假設)也是最好的。偏最小二乘法(PLS)是一個監督的替代PCR。與PCR一樣，PLS是一種降維方法，它首先識別一組新的較小的特徵，這些特徵是原始特徵的線性組合，然後通過最小二乘法擬合一個線性模型到新的M特徵。然而，與PCR不同的是，PLS利用響應變數來識別新的特徵。
7 - 非線性模型：
在統計學中，非線性回歸是回歸分析的一種形式，其中觀測數據是由一個函數建模的，該函數是模型參數的非線性組合，並取決於一個或多個自變數。數據通過逐次逼近的方法進行擬合。以下是一些處理非線性模型的重要技巧：
如果實數的函數可以寫成區間指示函數的有限線性組合，則稱實數為函數。非正式地說，一個階梯函數是一個只有很多片段的分段常量函數。
分段函數是由多個子函數定義的函數，每個子函數應用於主函數域的一定間隔。分段實際上是表達函數的一種方式，而不是函數本身的一個特徵，但是具有額外的限定，可以描述函數的性質。例如，分段多項式函數是在其每個子域上是多項式的函數，但是每個子域上可能是不同的。
樣條函數是由多項式分段定義的特殊函數。在計算機圖形學中，樣條是指分段多項式參數曲線。由於其結構簡單，評估方便和准確，以及通過曲線擬合和互動式曲線設計逼近復雜形狀的能力，樣條曲線是流行的曲線。
廣義加性模型是一種線性預測模型，其中線性預測變數線性依賴於某些預測變數的未知光滑函數，興趣集中在對這些光滑函數的推理上。
8 - 基於樹的方法：
基於樹的方法可以用於回歸和分類問題。這些涉及將預測空間分層或分割成若干簡單區域。由於用於分割預測變數空間的分裂規則集合可以在樹中進行概括，所以這些類型的方法被稱為決策樹方法。下面的方法生成多個樹，然後結合在一起產生一個單一的共識預測。
套袋(Bagging)是減少預測方差的方法，通過使用重復組合來生成原始數據集中的訓練數據，從而生成與原始數據相同的多樣性。通過增加你的訓練集的大小，你不能提高模型的預測力，只是減少方差，勉強把預測調整到預期的結果。
提升(Boosting)是一種使用幾種不同的模型計算產出的方法，然後使用加權平均方法對結果進行平均。通過改變你的加權公式，結合這些方法的優點和缺陷，你可以使用不同的狹義調整模型，為更廣泛的輸入數據提供一個很好的預測力。
隨機森林(random forest )演算法實際上非常類似於套袋。你也可以繪制訓練集的隨機bootstrap樣本。但是，除了自舉樣本之外，還可以繪制隨機子集來訓練單個樹;在套袋中，你給每個樹一套完整功能。由於隨機特徵選擇，與常規套袋相比，樹木之間的相互獨立性更高，這通常會帶來更好的預測性能(由於更好的方差偏差權衡)，而且速度更快，因為每棵樹只能從功能的一個子集。
9 - 支持向量機：
SVM是機器學習中監督學習模型中的一種分類技術。通俗地說，它涉及於找到超平面(2D中的線，3D中的平面和更高維中的超平面，更正式地說，超平面是n維空間中的n維空間)最大保證金從本質上講，它是一個約束優化問題，其邊界被最大化，受限於它對數據進行了完美的分類(硬邊緣)。
這種「支持」這個超平面的數據點被稱為「支持向量」。對於兩類數據不能線性分離的情況，這些點被投影到可能線性分離的分解(高維)空間。涉及多個類的問題可以分解為多個一對一或者一對二的分類問題。
10 - 無監督學習：
到目前為止，我們只討論了監督學習技術，其中組是已知的，提供給演算法的經驗是實際實體和它們所屬的組之間的關系。當數據的組(類別)未知時，可以使用另一組技術。它們被稱為無監督的，因為它會留在學習演算法中以找出所提供的數據中的模式。聚類是無監督學習的一個例子，其中不同的數據集被聚類為密切相關的項目組。下面是最廣泛使用的無監督學習演算法的列表：
主成分分析通過識別一組具有最大方差和相互不相關的特徵的線性組合來幫助產生數據集的低維表示。這種線性維度技術有助於理解變數在無監督環境下的潛在相互作用。
k-Means聚類：根據到群集質心的距離將數據分為k個不同的集群。
分層集群：通過創建集群樹來構建集群的多級分層結構。
以上是一些基本的統計技術的簡單解釋與說明，可以幫助數據科學項目經理和主管人員更好地理解他們的數據科學小組背後隱藏的內容。實際上，一些數據科學小組純粹通過python和R庫運行演算法。他們中的大多數甚至不必考慮潛在的數學問題。但是，能夠理解統計分析的基礎知識可以為您的團隊提供更好的方法。

『柒』 攻克大數據 數據科學家的八種技能

攻克大數據：數據科學家的八種技能

隨著大數據滲透進各行各業，負責淘洗數據、從中精煉價值的數據科學家無疑是這幾年最炙手可熱的職位，《哈佛商業評論》將之譽為21 世紀最性感工作。

1，因為優異的數據科學家就像獨角獸一樣珍貴難尋，而且可不是只有科技公司在搶人，傳統金融界、零售商、廣告、教育，幾乎所有產業都需要數據科學家從大量數據中萃取精華。根據去年七月 Indeed.com 的調查，美國數據科學家每年均薪 12.3 萬美金。

2，比起整體均薪多出 113%——當然，還是比每年平均可以領 74 萬美金的 CEO 還少，但也夠讓 99.99% 的上班族望塵莫及。

能領這么驚人的薪資，數據科學家的本領真的不是三言兩語就能講完。但是到底什麼是數據科學家?
頂尖的數據科學家最好統計、數學、程式能力最好都要掌握，而且要能從中洞察意義，並且擁有非凡的直覺，用數據數據發聲，幫助公司制定重大決策。但是，其實就算同樣都是尋找「數據科學家」，Google 跟沃爾瑪超市要的人才，可能非常不一樣。別因你好像缺了哪個專長而打退堂鼓，如果仔細閱讀每家公司張貼的職缺敘述，你會發現說不定現有的技能就能進入數據科學的殿堂。Airbnb 數據科學家 Dave Holtz 把市場上所需的數據科學家概括成以下四類：

四種數據科學家

菜鳥數據科學家說穿了就是數據分析師

有些公司需要的數據科學家，說白話就是數據分析師(data analyst)，而數據分析師就是菜鳥數據科學家。你的工作包括從 MySQL 萃取數據或是一名 Excel 專家，也許要能繪制基礎的數據視覺圖表、分析 A/B 測試的結果或者管理公司的 Google Analytics 帳號。這種公司對抱負遠大的數據科學家來說，是很不錯的練功場所，當你變成老手了，也能開始嘗試新事物，擴充技能組合。

來清理我們亂糟糟的數據!

公司發展到了一定規模之後，累積一堆尚未理清的數據，而且持續大幅增加，因此他們會需要一個能夠建立數據基本設施(data infrastrucure)的人，以讓他們在這個基礎上繼續成長。由於你是第一個或第一批獲聘的數據相關人員，工作通常不會太難，不求統計學家或機器學習專家才能勝任。在這種公司裡面，帶有軟體工程背景的數據科學家就很吃香了，重點任務是提供數據到 proction code，關於數據的洞見與分析倒是其次。就像前面說的，你是這家公司的第一個數據探勘者，通常你不會獲得太多上層的支援，雖然反而更有機會大放異彩，不過因為比較缺乏真正的挑戰，沖嘩也有可能面臨停滯不前的窘境。

我們就是數據，數據就是我們

也有很多公司，主要的產品就是數據(或數據分析平台)。如果你想族吵進入這種公司，那你勢必要具備很高深的數據分析或機器學習功力。完美的人選應該是有正規的數學、統計、物理背景，而且有意繼續朝學術面鑽研。這些數據科學家的主要職責在於研發出色的數據產品，而非解答公司的營運問題。擁有大量消費者數據也以此作為主要營利來源的公司、或者提供基於數據的服務的公司，都歸屬此類。

產品並非數據、卻以數據驅動產品的公司

很多公司都屬這種類型。你可能會加入一組已經建立的數據科學家團隊，這家公司很重視數據，但稱不上一家數據公司。你既要能夠進行數據分析、接觸 proction code、也能將數據視覺化散穗行。一般來說，這種公司要的人才要不是通才，就是他們團隊缺乏的某種特殊專才，比如數據視覺化或機器學習。想要通過這類公司的考驗，端看你對「大數據(比如 Hive 或 Pig)」工具的熟稔程度，以及過往處理雜亂無章數據的經驗。

現在，你了解「數據科學家」的定義很浮動，即使公司開缺都以數據科學家為名，但是他們要找的人其實不太一樣，不一樣的技能組合、不一樣專長、不一樣的經驗層級，卻都能夠稱之數據科學家，因此找工作時，務必詳讀職位描述，搞清楚你會進入什麼樣的團隊、發展什麼樣的技能。

基本工具

無論哪一類公司，統計程式語言如 R 或 Python，以及資料庫查詢工具像 SQL 大概都是數據科學家必備的常識。

基礎統計學

對統計起碼要有基本認識，才稱得上及格的數據科學家，一名擁有許多面試經驗的人資說，很多他曾面試的人連 p-value 的定義都講得不清不楚。你應該熟悉統計測試、分布、最大似然法則(maximum likelihood estimators)等等。機器學習也很重要，但更關鍵的能力，是你能否判斷不同狀況該用什麼不同的技術。統計學適用於所有類型的公司，但對那些主要產品並非數據、卻大幅依賴數據的公司來說尤為必備能力，老闆需要的是你能不能利用數據幫助他們進行決策，以及設計、評估實驗與結果。

機器學習

假如你是在握有大量數據的大型企業，或是產品本身就是以數據為賣點的公司工作，機器學習就是你用來吃飯的傢伙。雖然 KNN 演演算法(k-nearest neighbors)、隨機森林(random forest)、集成學習(ensemble methods)這類機器學習的流行術語好像不懂不行，不過因為事實上很多技術都可以用 R、Python 程式庫解決，所以即使你不是演演算法的世界頂尖專家，並不代表就毫無希望。比較重要的是，能夠縱觀全局，每種狀況出現都能找出最契合的技術。

多變數微積分、線性代數

就算你即將面試的公司並未要求機器學習或統計學知識，基礎多變數微積分與線性代數問題十之八九都是逃避不了的必考題，因為數據科學就是由這些技術型塑而成。盡管很多事情可以交給 sklearn 或 R 自動執行，但是未來如果公司想要建立自有的方案，這些基本知識就變得很重要了。如果你置身於「數據就是產品」，或者預測績效僅因小小進步或演演算法優化就能帶來驚人效益的公司裡面，微積分、線性代數等數學概念都需了解通透。

清理數據

Data Munging 是最容易令人不耐的過程，你面對的是亂七八糟的數據。這些數據包含消失的數值、不一致的字串格式(比如「New York」與「new york」與「ny」)、數據格式(「2015-03-26」、「03/26/2015」，「unix time」、「timestamps」等等)，必須勞心費神梳理這些龐雜的數據。雖然這工作吃力不討好，但只要是數據科學家，大概都避免不了，而如果你是某家小公司的先遣數據科學家，或是在一家產品非與數據相關，但是數據卻扮演重要角色的公司里工作，清理數據的任務格外重要。

數據視覺化與溝通

把枯燥繁瑣的數據轉成圖像，以及向外界溝通的技能愈來愈重要，尤其是在年輕的公司制定由數據驅動的決策，或者協助其他組織進行數據決策的公司。「溝通」二字的真諦在於，面對技術人或一般人，你都能准確的傳達研究發現，並能讓他們輕易理解。至於視覺化，如果可以熟悉 ggplot、d3.js 等軟體的運用，會有很大的助益，當然工具只是表象，能否參透數據視覺化的原則，才是最需費心的地方。

軟體工程

如果你是公司數據科學團隊的草創元老，擁有強悍的軟體工程背景十分重要，你會負責處理很多數據登錄(data logging)，也有可能需要參與開發以數據為本的產品。

像個數據科學家般思考

所謂數據科學家，就是你解決問題的方法奠基於數據數據。在面試過程中，主考官可能會出一些比較艱澀的問題，比如公司想要執行的某個測試，或者計劃開發的數據產品。判斷事情的輕重緩急、作為數據科學家如何與工程師和產品經理互動、知道該用什麼方式解決問題，都是你該培養的能力。

以上是小編為大家分享的關於攻克大數據 數據科學家的八種技能的相關內容，更多信息可以關注環球青藤分享更多干貨

『捌』 大數據科學家需要掌握的幾種異常值檢測方法

引言

異常值檢測與告警一直是工業界非常關注的問題，自動准確地檢測出系統的異常值，不僅可以節約大量的人力物力，還能盡早發現系統的異常情況，挽回不必要的損失。個推也非常重視大數據中的異常值檢測，例如在運維部門的流量管理業務中，個推很早便展開了對異常值檢測的實踐，也因此積累了較為豐富的經驗。本文將從以下幾個方面介紹異常值檢測。

1、異常值檢測研究背景

2、異常值檢測方法原理

3、異常值檢測應用實踐

異常值檢測研究背景

異常值，故名思議就是不同於正常值的值。 在數學上，可以用離群點來表述，這樣便可以將異常值檢測問題轉化為數學問題來求解。

異常值檢測在很多場景都有廣泛的應用，比如：

1、流量監測

互聯網上某些伺服器的訪問量，可能具有周期性或趨勢性：一般情況下都是相對平穩的，但是當受到某些黑客攻擊後，其訪問量可能發生顯著的變化，及早發現這些異常變化對企業而言有著很好的預防告警作用。

2、金融風控

正常賬戶中，用戶的轉賬行為一般屬於低頻事件，但在某些金融詐騙案中，一些嫌犯的賬戶就可能會出現高頻的轉賬行為，異常檢測系統如果能發現這些異常行為，及時採取相關措施，則會規避不少損失。

3、機器故障檢測

一個運行中的流水線，可能會裝有不同的感測器用來監測運行中的機器，這些感測器數據就反應了機器運行的狀態，這些實時的監測數據具有數據量大、維度廣的特點，用人工盯著看的話成本會非常高，高效的自動異常檢測演算法將能很好地解決這一問題。

異常值檢測方法原理

本文主要將異常值檢測方法分為兩大類：一類是基於統計的異常值檢測，另一類是基於模型的異常值檢測。

基於統計的方法  

基於模型的方法

1、基於統計的異常值檢測方法

常見的基於統計的異常值檢測方法有以下2種，一種是基於3σ法則，一種是基於箱體圖。

3σ法則  

箱體圖

3σ法則是指在樣本服從正態分布時，一般可認為小於μ-3σ或者大於μ+3σ的樣本值為異常樣本，其中μ為樣本均值，σ為樣本標准差。在實際使用中，我們雖然不知道樣本的真實分布，但只要真實分布與正太分布相差不是太大，該經驗法則在大部分情況下便是適用的。

箱體圖也是一種比較常見的異常值檢測方法，一般取所有樣本的25%分位點Q1和75%分位點Q3，兩者之間的距離為箱體的長度IQR，可認為小於Q1-1.5IQR或者大於Q3+1.5IQR的樣本值為異常樣本。

基於統計的異常檢測往往具有計算簡單、有堅實的統計學基礎等特點，但缺點也非常明顯，例如需要大量的樣本數據進行統計，難以對高維樣本數據進行異常值檢測等。

2、基於模型的異常值檢測

通常可將異常值檢測看作是一個二分類問題，即將所有樣本分為正常樣本和異常樣本，但這和常規的二分類問題又有所區別，常規的二分類一般要求正負樣本是均衡的，如果正負樣本不均勻的話，訓練結果往往會不太好。但在異常值檢測問題中，往往面臨著正（正常值）負（異常值）樣本不均勻的問題，異常值通常比正常值要少得多，因此需要對常規的二分類模型做一些改進。

基於模型的異常值檢測一般可分為有監督模型異常值檢測和無監督模型異常值檢測，比較典型的有監督模型如oneclassSVM、基於神經網路的自編碼器等。 oneclassSVM就是在經典的SVM基礎上改進而來，它用一個超球面替代了超平面，超球面以內的值為正常值，超球面以外的值為異常值。

經典的SVM  

1

 基於模型的方法

2

基於神經網路的自編碼器結構如下圖所示。

自編碼器（AE）

將正常樣本用於模型訓練，輸入與輸出之間的損失函數可採用常見的均方誤差，因此檢測過程中，當正常樣本輸入時，均方誤差會較小，當異常樣本輸入時，均方誤差會較大，設置合適的閾值便可將異常樣本檢測出來。但該方法也有缺點，就是對於訓練樣本比較相近的正常樣本判別較好，但若正常樣本與訓練樣本相差較大，則可能會導致模型誤判。

無監督模型的異常值檢測是異常值檢測中的主流方法，因為異常值的標注成本往往較高，另外異常值的產生往往無法預料，因此有些異常值可能在過去的樣本中根本沒有出現過， 這將導致某些異常樣本無法標注，這也是有監督模型的局限性所在。 較為常見的無監督異常值檢測模型有密度聚類（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一種典型的無監督聚類方法，對某些類型的異常值檢測也能起到不錯的效果。該演算法原理網上資料較多，本文不作詳細介紹。

IF演算法最早由南京大學人工智慧學院院長周志華的團隊提出，是一種非常高效的異常值檢測方法，該方法不需要對樣本數據做任何先驗的假設，只需基於這樣一個事實——異常值只是少數，並且它們具有與正常值非常不同的屬性值。與隨機森林由大量決策樹組成一樣，IsolationForest也由大量的樹組成。IsolationForest中的樹叫isolation tree，簡稱iTree。iTree樹和決策樹不太一樣，其構建過程也比決策樹簡單，因為其中就是一個完全隨機的過程。

假設數據集有N條數據，構建一顆iTree時，從N條數據中均勻抽樣(一般是無放回抽樣)出n個樣本出來，作為這顆樹的訓練樣本。

在樣本中，隨機選一個特徵，並在這個特徵的所有值范圍內（最小值與最大值之間）隨機選一個值，對樣本進行二叉劃分，將樣本中小於該值的劃分到節點的左邊，大於等於該值的劃分到節點的右邊。

這樣得到了一個分裂條件和左、右兩邊的數據集，然後分別在左右兩邊的數據集上重復上面的過程，直至達到終止條件。 終止條件有兩個，一個是數據本身不可再分(只包括一個樣本，或者全部樣本相同)，另外一個是樹的高度達到log2(n)。 不同於決策樹，iTree在演算法裡面已經限制了樹的高度。不限制雖然也可行，但出於效率考慮，演算法一般要求高度達到log2(n)深度即可。

把所有的iTree樹構建好了，就可以對測試數據進行預測了。預測的過程就是把測試數據在iTree樹上沿對應的條件分支往下走，直到達到葉子節點，並記錄這過程中經過的路徑長度h(x)，即從根節點，穿過中間的節點，最後到達葉子節點，所走過的邊的數量(path length)。最後，將h(x)帶入公式，其中E(.)表示計算期望，c(n)表示當樣本數量為n時，路徑長度的平均值，從而便可計算出每條待測數據的異常分數s(Anomaly Score)。異常分數s具有如下性質：

1）如果分數s越接近1，則該樣本是異常值的可能性越高；

2）如果分數s越接近0，則該樣本是正常值的可能性越高；

RCF演算法與IF演算法思想上是比較類似的，前者可以看成是在IF演算法上做了一些改進。針對IF演算法中沒有考慮到的時間序列因素，RCF演算法考慮了該因素，並且在數據樣本采樣策略上作出了一些改進，使得異常值檢測相對IF演算法變得更加准確和高效，並能更好地應用於流式數據檢測。

IF演算法

RCF演算法

上圖展示了IF演算法和RCF演算法對於異常值檢測的異同。我們可以看出原始數據中有兩個突變異常數據值，對於後一個較大的突變異常值，IF演算法和RCF演算法都檢測了出來，但對於前一個較小的突變異常值，IF演算法沒有檢測出來，而RCF演算法依然檢測了出來，這意味著RCF有更好的異常值檢測性能。

異常值檢測應用實踐

理論還需結合實踐，下面我們將以某應用從2016.08.16至2019.09.21的日活變化情況為例，對異常值檢測的實際應用場景予以介紹：

從上圖中可以看出該應用的日活存在著一些顯著的異常值（比如紅色圓圈部分），這些異常值可能由於活動促銷或者更新迭代出現bug導致日活出現了比較明顯的波動。下面分別用基於統計的方法和基於模型的方法對該日活序列數據進行異常值檢測。

基於3σ法則（基於統計）

RCF演算法（基於模型）

從圖中可以看出，對於較大的突變異常值，3σ法則和RCF演算法都能較好地檢測出來， 但對於較小的突變異常值，RCF演算法則要表現得更好。

總結

上文為大家講解了異常值檢測的方法原理以及應用實踐。綜合來看，異常值檢測演算法多種多樣 ，每一種都有自己的優缺點和適用范圍，很難直接判斷哪一種異常檢測演算法是最佳的， 具體在實戰中，我們需要根據自身業務的特點，比如對計算量的要求、對異常值的容忍度等，選擇合適的異常值檢測演算法。

接下來，個推也會結合自身實踐，在大數據異常檢測方面不斷深耕，繼續優化演算法模型在不同業務場景中的性能，持續為開發者們分享前沿的理念與最新的實踐方案。

『玖』 數據科學的基本過程是什麼

在描述數據科學是什麼的時候，每個人給你的答案多少有些不同，但大多數人都會同意數據科學包含一個重要的環節激彎，即數據分析。數據分析並不是什麼新事物，新的是從各種各樣的來源獲得的大量數據：日誌文件、電子郵件、社交媒體、銷售數據、患者信息文件、運動表現數據、感測器數據、安全攝像頭等。在數據比以往任何時候都要多的同時，我們也擁有了進行有用分析和獲取新知識的計算能力。

數據科學能幫助企業了解其所處環境，分析存在的問題，並且展現以往隱藏的機會。數據科學家通過調查數據、使用數據分析來豐富機構的知識庫，從而探索並利用最佳方式為業務增值。

『拾』 數據科學家需要掌握哪些技能

想要成為一名數據科學家，需要掌握的知識是非常多的。其中主要有：編程和資料庫、數學和統計、交流和可視化、領導力和軟技術技能四個方面。那麼這四個方面具體包含哪些內容呢？下面南邵電腦培訓為大傢具體介紹。

一、編程和資料庫

一般情況下，數據科學家需要擁有程序設計、計算機科學相關的專業背景，處理大數據所需的Hadhop。需要掌握Mahour等大規模的並行處理技術和與機器學習相關的技侍氏能。南邵IT培訓建議一般利用python來獲取數據，整理數據，使用matplotlib進行數據顯示。

二、數學統計和數據挖掘

除了數學和統計知識，你還需要掌握更多的技能，使用主流統計分析軟體，如SPSS，SAS。其中，用於統計分析的開源編程語言及其運行環境「R」近年來備受關注。R的優點不僅在於它包含了豐富的統計分析庫，而且還具有可視化、高質量的圖形生成功能，並且還可以通過簡單的命令運行。此外指談悔唯正，南邵IT培訓發現它還有一個名為cran的包擴展機制，它可以通過導入擴展包來使用在標准狀態下不受支持的函數和數據集。

三、數據可視化

信息的質量在很大程度上取決於信息的表達。通過分析數字列表數據的含義，開發了Web原型，利用外部API對圖表、地圖、儀錶板等服務進行統一，使分析結果可視化。這是數據科學家需要掌握的非常重要的技能之一。

四、領導力和軟技能

數據科學家不僅有黑客的頭腦，還需要對數據好奇，而且南邵電腦培訓認為還需要對商業有熱情，有影響力，有創造性，這樣才能夠解決問題。