數據分析師減少偏差的方法

A. 偏差分析有幾種方法

偏差分析有4種方法分別是橫道圖法、時標網路圖法、表格法和曲線法。

橫道圖比較法簡介：

橫道圖比較法是指將在項目實施中檢查實際進度收集的信息，經整理後直接用橫道線並列標於原計劃的橫道線處，進行直觀比較的方法。用橫道圖編制施工進度計劃，指導施工的實施已是人們常用的、很熟悉的方法。

為進度控制者提供了實際施工進純旦度與計劃進度之間的偏差，為採取調整措施提供了明確的任務。這是人們施滑笑工中進行施工項目進度控制經常用的一種最簡單、熟悉的方法。

但是它僅適用於施工中的各項工作都是按均勻的速度進行，即是每項工做讓擾作在單位時間里完成的任務量都是各自相等的。

完成任務量可以用實物工程量、勞動消耗量和工作量三種物理量表示，為了比較方便，一般用它們實際完成量的累計百分比與計劃的應完成量的累計百分比，進行比較。

B. 如何保證分析數據的准確性（八）

如何保證分析數據的准確性 中級（八） 2010.09.02 三班 王主持：對分析而言，數據就是產品，保證產品的質量是每個行業的最終目的。什麼樣的產品是好的，對於分析就是數據的准確性。准確的數據對生產有好的指導作用，不準確的數據就有可能造成設備的損壞和生產的停歇，對於大型工廠來說損失是慘重的。我們也知道對於咱廠，每次開停車都會在人力及資金上付出很多，所以我們不希望因為數據的問題引起不必要的爭端，所以正確分析，報出正確結果是我們分析人不能推脫的責任和義務。對於我們質檢中心是我廠的質量檢驗部門，主要承擔著各種外進原燃料、廠內工序間產品的質量檢驗及外發產品的質量控制工作任務，檢驗數據的准確性對各生產環節的順利進行都起到了至關重要的作用，同時，各種外發產品的質量得到保證，就會為企業樹立良好的外部形象和信譽度，為企業發展開拓更為廣闊的市場空間，因此，保證各種外進物料及外發產品的質量情況得到及時准確的反映就顯得十分必要，那麼如何能保證檢驗所得數據准確性呢，影響檢驗數據准確性的因素又有哪些呢？現在我們就來簡單探討一下。 先有甲醇崗人員回答 張回答：對於甲醇崗的分析我接觸的時間較晚，我是初來的員工，到處都要學習，對於現在我掌握的情況，我想說的是:平行分析是檢驗分析數據准確的好方法，比如說當一個數據分析有異常的情況時，就是與平常分析不一樣，就要重復分析一次或著兩次，當確定取樣正確的情況下，假如復核的幾次還是與第一次一樣的情況下，就可判斷分析數據是正確的，在此種情況下作為分析人就要趕快與工藝人聯系，告知其情況，以做到分析是工藝的眼睛的作用。 許接著說：張嵐說的對，我比她早來些，除她說的情況外，我認為保證數據的准確性還要做到對分析項目的質的了解，做到知其然，知其所以然，在清醒的認識中提高分析的准確性。 沈說:菊香和張嵐說的都很好，我要說的是：目前，質檢中心檢驗作業區所採取的檢驗方法主要由化學分析和儀器分析兩部分構成，首先，就化學分析方法而言，影響檢驗數據准確性的因素主要有以下幾個方面。 第一，檢驗試驗操作規程是否符合國家標准。所採用的操作規程是否適合所檢驗的物料的各分析元素的需要，直接決定著檢驗結果的准確與否，對分析結果的准確性起到了至關重要的決定性作用，那麼，必須要選擇適合各分析項目的操作規程，才能保證檢驗數據的准確性。目前，在我們質檢中心各化驗室所採用的各種分析方法基本都是依據《龍宇煤化工分析操作規程》中所包含的操作規程來執行，此規程是由質量檢驗相關工程技術人員依據國家標准相關內容及結合煤化工所檢驗各種物料工作需要而編寫，基本能夠滿足檢驗工作需要。但是，隨著國家標準的不斷更新，檢驗方法的逐步成熟，《煤化工檢驗試驗操作規程》中所涉及的一些原有的檢驗方法已不適合檢驗工作需要，已被新的分析方法所取代，在這種情況下，修訂和完善檢驗試驗操作規程就顯得尤為重要，我們質檢中心技術科相關技術人員，會同從事各檢驗項目相關工作人員，對檢驗試驗規程進行了重新修訂和完善，力求跟上檢驗方法發展步伐，滿足檢驗工作需要，現在檢驗所採用的分析方法，全部參照國標中相關內容執行，這樣就消除了由於方法不完善所產生的檢驗數據的誤差，充分保證了各種物料檢驗數據的准確性，為其他相關生產單位提供准確可靠的質量情況參考信息。 第二，檢驗所用各種材料及設備是否符合使用要求。在化學分析中，要用到標准樣品、化學葯品、玻璃儀器、量器具以及相關的各種設備，那麼這些材料及設備是否滿足檢驗工作需要，直接決定了檢驗數據的准確性。在所使用的化學葯品方面，由於不同廠家所生產的葯品質量水平不一致或同一廠家所生產的不同批次的葯品的質量水平有差別，就拿酸類而言，分為優級純、分析純、化學純等幾種，不同的分析方法對使用葯品的純度等級要求不一致，如果葯品的純度達不到要求，可能就會導致同一試樣的分析結果的重現性出現偏差，只有保證化學葯品質量滿足檢驗需求，才能使分析過程中所得出的檢驗數據准確，保證所分析試樣的結果及時報出，為其他相關生產環節提供有效的指導作用；在玻璃儀器方面，燒杯、量筒、錐形瓶、容量瓶等，質量是否符合檢驗要求，對檢驗結果的准確性也存在一定的影響，如果平行使用的一批玻璃儀器的精確度不一致或不同廠家生產的玻璃儀器質量水平不一致，對所計算出的結果就會產生一定的誤差，因此，保證檢驗量器具符合使用要求，就能使檢驗數據准確性得到保證；在使用的設備方面，馬弗爐、天平、分光光度計等，設備是否滿足檢驗工作需要，對檢驗結果的准確性也存在一定的影響。定期對檢驗所使用各種設備進行檢定，保證設備能夠正常運行，滿足檢驗工作需要，這樣就能使檢驗數據的准確性得到保證。滿足以上幾方面要求，就能消除分析過程中所產生的系統誤差，保證檢驗結果的准確。 第三，從業人員素質是否滿足工作需求。由於目前檢驗系統從業人員素質參差不齊，在檢驗過程中，對檢驗操作規程的理解程度可能不一致，同時，由於原有的培訓上崗制度基本為有經驗的化驗人員來帶新上崗的員工，沒有接受過正規的理論知識及實際操作方面的培訓，對檢驗過程中的一些操作方法掌握的不好，不能熟練掌握整個分析步驟，這樣對檢驗數據的准確性就會產生一定的影響。現在，質檢中心開展了學習年活動，定期組織員工開展業務知識等相關內容的培訓工作，大大提高了各崗位從業人員的業務素質和技術水平，同時，每半年進行一次操作技能考試，對員工的技術水平的提高也起到了積極的促進作用，使相關崗位人員的技術水平適合本崗位檢驗工作需要，這樣就保證了檢驗過程中操作規程的徹底貫徹執行，完全按照標准化操作方法開展各項質檢工作，為提供准確可靠的檢驗質量信息奠定了堅實的基礎。 第四，檢驗環境是否符合檢驗工作需要。在檢驗分析過程中，環境是否滿足檢驗要求，對化驗所得的檢驗數據的准確性也存在一定的影響。如標准溶液要在室溫下進行保存，才能保證濃度在一定時間內保持一致，若是存放標准溶液的操作室內溫度過高或過低都會使溶液的濃度發生一些變化，這樣檢驗所得的數據就會受到一定的影響，檢驗數據的准確性可能就無法得到保證，因此，保證檢驗環境滿足工作需要，就會消除所產生的系統誤差，保證檢驗所得數據准確無誤。 吳接著說：巧星剛針對化學分析方法做了討論，那我就從儀器分析方面說一下一些提高准確性的問題，具體我認為有以下幾個方面。 第一，儀器本身的性能。儀器穩定運行是保證數據准確可靠的一個必備前提條件，儀器在安裝調試過程中，根據檢驗工作需要，工程師用生產過程中的檢驗物料進行繪制標准曲線，曲線的准確與否直接關繫到檢驗數據的准確性，因此，要定期檢查曲線是否漂移，如瓶裝標氣就是用來衡量色譜曲線准確與否的重要參考依據。 第二，儀器日常維護是否到位。在儀器的日常使用過程中，由於所分析樣品不一致，曲線可能會發生平移或轉動，因此，要定期對儀器的曲線進行校正，同時，儀器內部的一些元件及常用的一些備件可能由於長時間運行需要更換與修復，如色譜分析儀的進樣口部位，在分析試樣的過程中，由於隔墊的的破損或松動，使儀器的出峰時間發生變化，只有對隔墊進行更換或者旋緊進樣口螺母等，才能使儀器正常運行。 第三，環境因素是否滿足儀器運行要求。 第四，樣品制備要滿足檢驗需要。 第五，從事儀器分析工作人員對儀器分析方法掌握情況。如果從業人員對儀器分析技術規程掌握的不好，不能使儀器分析過程按照標准進行，可能對檢驗數據准確性造成一定的影響，因此，要對從事儀器分析人員進行系統的培訓，讓他們完全掌握儀器分析方法，才能保證儀器分析結果的准確性。 今天的討論是豐富的，通過這次討論我相信大家對准確分析有了更深刻的了解，希望大家能通過本次討論認真思考，共同進步，為以後的准確分析，精確分析打下良好的基礎。

C. 數據分析師必須掌握的7種回歸分析方法

1、線性回歸

線性回歸是數據分析法中最為人熟知的建模技術之一。它一般是人們在學習預測模型時首選的技術之一。在這種數據分析法中，由於變數是連續的，因此自變數可以是連續的也可以是離散的，回歸線的性質是線性的。

線性回歸使用最佳的擬合直線(也就是回歸線)在因變數(Y)和一個或多個自變數(X)之間建立一種關系。

2、邏輯回歸

邏輯回歸是用來計算“事件=Success”和“事件=Failure”的概率。當因變數的類型屬於二元(1 /0，真/假，是/否)變數時，我們就應該使用邏輯回歸.

邏輯回歸不要求自變數和因變數是線性關系。它可以處理各種類型的關系，因為它對預測的相對風險指數OR使用了一個非線性的log轉換。

為了避免過擬合和欠擬合，我們應該包括所有重要的變數。有一個很好的方法來確保這種情況，就是使用逐步篩選方法來估計邏輯回歸。它需要大的樣本量，因為在樣本數量較少的情況下，極大似然估計的效果比普通的最小二乘法差。

3、多項式回歸

對於一個回歸方程，如果自變數的指數大於1，那麼它就是多項式回歸方程。雖然會有一個誘導可以擬合一個高次多項式並得到較低的錯誤，但這可能會導致過擬合。你需要經常畫出關系圖來查看擬合情況，並且專注於保證擬合合理，既沒有過擬合又沒有欠擬合。下面是一個圖例，可以幫助理解：

明顯地向兩端尋找曲線點，看看這些形狀和趨勢是否有意義。更高次的多項式最後可能產生怪異的推斷結果。

4、逐步回歸

在處理多個自變數時，我們可以使用這種形式的回歸。在這種技術中，自變數的選擇是在一個自動的過程中完成的，其中包括非人為操作。

這一壯舉是通過觀察統計的值，如R-square，t-stats和AIC指標，來識別重要的變數。逐步回歸通過同時添加/刪除基於指定標準的協變數來擬合模型。

5、嶺回歸

嶺回歸分析是一種用於存在多重共線性(自變數高度相關)數據的技術。在多重共線性情況下，盡管最小二乘法(OLS)對每個變數很公平，但它們的差異很大，使得觀測值偏移並遠離真實值。嶺回歸通過給回歸估計上增加一個偏差度，來降低標准誤差。

除常數項以外，這種回歸的假設與最小二乘回歸類似;它收縮了相關系數的值，但沒有達到零，這表明它沒有特徵選擇功能，這是一個正則化方法，並且使用的是L2正則化。

6、套索回歸

它類似於嶺回歸。除常數項以外，這種回歸的假設與最小二乘回歸類似;它收縮系數接近零(等於零)，確實有助於特徵選擇;這是一個正則化方法，使用的是L1正則化;如果預測的一組變數是高度相關的，Lasso 會選出其中一個變數並且將其它的收縮為零。

7、回歸

ElasticNet是Lasso和Ridge回歸技術的混合體。它使用L1來訓練並且L2優先作為正則化矩陣。當有多個相關的特徵時，ElasticNet是很有用的。Lasso會隨機挑選他們其中的一個，而ElasticNet則會選擇兩個。Lasso和Ridge之間的實際的優點是，它允許ElasticNet繼承循環狀態下Ridge的一些穩定性。

通常在高度相關變數的情況下，它會產生群體效應;選擇變數的數目沒有限制;並且可以承受雙重收縮。

關於數據分析師必須掌握的7種回歸分析方法，青藤小編就和您分享到這里了，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的職業前景及就業內容，可以點擊本站的其他文章進行學習。

D. 如何有效控制市場調查中的誤差

一、設計誤差 市場調查公司所說的設計誤差，是指我們在抽樣調查方案的設計中產生的誤差。我們在保證所抽選的樣本對總體有充分代表性的前提條件下，務必保證最經濟最有效的結果。抽樣調查方案的設計內容包括：抽樣框的確定、總體目標量設定、抽樣方法明確、樣本量確定。1. 抽樣框確定時產生的誤差 抽樣框又可以稱之為抽樣框架或者抽樣結構，在長沙道延市場調查公司的執行中，主要是志對可以選擇作為樣本的總體單位列出名單或者排出編號，用以確定總體的出樣的結構和范圍。只有在設計好了抽樣框以後，才可以用抽取的方式或者按照隨機的編號來抽取。 如果抽樣框中出現重復或者遺漏，也就是或多或少，都是會產生系統性誤差，從而導致抽樣框抽取的樣本，不具備十足的代表性。原因重點是在於遺漏亦或者是重復的抽樣框進行的抽樣，在本質上都是用一個總體的樣本區估計另一個總體樣本。包括三種情況，a，遺漏，不完整，是指被研究的總體的各個單位沒有全部包括在抽樣匡中，也就是說抽樣框沒有窮盡；b，抽樣框模糊，難以辨認和明晰；c,有未知的重復部分。 2.問卷設計時產生的誤差 問卷設計往往容易讓人忽視，長沙道延市場調查公司的研究和分析人員，對於問卷設計是十分重視的。問卷設計是根據訪問的目的而設的，確定了訪問的目的和方案，從而才會有問卷。問卷是調查者的想法的直觀表現，問卷設計是否科學，是否根據調查目的而定，是否是調查目的的完全體現，是否容易受被調查者的理解，是否邏輯正確等等都直接而重大的影響著後面整個調查和分析工作，包括我們的判斷和決策。 在長沙道延市場調查公司實際操作過程中，要完全避免由於抽樣帶來的誤差，基本上是不可能的。我們只能盡量避免部分抽樣框帶來的誤差，盡量獲取一個理想的抽樣框，完整而不重復。 二、樣本量的估計和設計的誤差 長沙道延市場調查公司的項目執行過程中，樣本量的確定主要是根據調查的目的和抽樣框來設定的。而每每都會出現兩個問題需要特別注意：一個是，樣本量的估計，會盡量的希望設計出可能多的數量，但是過多的樣本量會增加調查工作的量，影響調查的質量，進而導致產生系統性誤差。二個是樣本量設計的質量，主要指抽樣方法，不同的抽樣方法會導致不同的偏差結果，會破壞估計量的無偏性的標准。所以科學的抽樣方法也很重要。 三、抽樣方法誤差 有很多種，不同的抽樣方法所形成的系統就完全不一樣，所以事先一定要根據調查或者咨詢的目的明確最好的抽樣方法。如果破壞了隨機性的原則，就會破壞整個抽樣調查的基礎。 四、調查誤差 長沙道延市場調查公司在實地執行中，嚴格按照執行方案為每次調查把關，但是很多調查中的誤差減少就變得很重要。 a ，訪問過程中的回答誤差，其中包括回答前後不一致、沒有回答、不恰當的回答。 b ,訪員，訪問員的的身份，如果有介紹信或者函件或者身份證明，會提高受訪者的配合度，受訪者回答會更加真實；時間的把握，需要在規定的時間裡面完成，提前或者推遲或者虛假時間，都會最終影響次採集回來的數據；訪問員的素質，長沙道延市場調查公司的訪問員，都是經過嚴格的培訓和試訪問才能夠執行項目，訪員素質的高低將直接影響到數據收集的真實和可用性；另外，訪問員的工作態度，經驗，誘導、是否欺騙都會嚴重影響最後的調查結果。 c，受訪者，受訪者的理解能力，受教育水平，職業會影響他的表達能力和理解能力；受訪者的性格，會決定他們是耐心配合還是消極煩躁。 d ,信息收集的方式，也就是調查不一樣，也會導致調查中的誤差。 在數十年的工作經驗當中，長沙道延市場調查公司掌握了更加嚴格的控制質量的方法。俗話說良醫治與未病，當很多人在苦於執行完後的QC，即質量控制，常見的實地復核、電話復核、錄音和攝像時。長沙道延市場調查公司的重點放在調查執行之前和調查執行之中。 （1）調查開始前有經驗的督導會兩個或者三個或者整個團隊在一起商定執行方案，頭腦風暴後會選出最佳方案，而不是單純的讓一個督導或者新督導直接執行，從而避免更多的督導人為因素引起的誤差。 （2）訪問員都經過之前的簡歷篩選、基礎培訓，公司自有項目考核，其中最重要的是項目考核，公司不會以面試結果錄用或者不錄用某個訪員，而是基於訪員在實地執行中是否過關，在執行中訪員主管會嚴格的考核該訪員的工作態度、性格、誠信度、靈活度、理解和表達能力、溝通能力等，從而有選擇性的甄選和聘用。其次是基礎培訓，會給訪員講解市場調查中的基本常識，一方面是普及知識，另一方面也極大的避免訪問過程中低級錯誤的產生。 （3）執行前的試訪問，試訪問是最容易被忽略的環節，其實作為研究公司，研究者一定要把關的過程便是試訪問，通過可信度測試才能保證數據的確切行和真實性。 （4）每個項目，不管是長期還是短期項目都進行的是項目培訓。長達一個小時甚至幾天的培訓，一定要確保訪員真正理解項目才能開始執行。（5）嚴格的獎懲制度，有獎有罰，訪員一經發現虛假問卷，該訪員的樣本全部作廢，永不錄用。（6）訪員優秀等級制度，嚴格而細致的考核會把訪員分成幾等，每種等級的訪員勞務費都會不一樣，積極的促使訪問員學習扎實的訪問知識和技巧，真實訪問，踏實訪問。（7）督導現場不定期的抽查和考核，每一個樣本都認真檢查。最後到QC部門檢查。 五、分析誤差 長沙道延市場調查公司中分析誤差，包括錄入時產生的誤差、分析人員。 數據分析方法，分析前是否有差錯分析和邏輯檢查，都將導致分析誤差的產生。其中分析人員的素質、經驗是很大的因素，長沙道延市場調查公司的數據分析人員兼有有十年工作和分析檢驗的團隊組成，更大程度的減少了誤差的產生和減低了誤差。 誤差無法避免，但是我們追求減到最小，忠於市場數據，為做出最佳的決策而努力!

E. 控制中有哪些糾正偏差的方法各方法應如何運用

控制中糾正偏差的方法：糾正偏差的方法也就有兩種：要麼改進工作，要麼修訂標准。
1，改進工作。分析衡量結果得出是哪方面的問題，管理者就應該在哪方面有針對性地採取行動。
2，修改標准，在某些情況下，偏差有可能來自不切實際的標准，發現標准不切實際，管理者可以修訂標准，但管理者在作出修訂標准要非常謹慎，防治被用來為不佳工作績效借口而開脫責任，管理者應該從控制的目的出發作仔細的分析，確認標準的確不符合控制的要求時，才能作出修正的決定。