導航:首頁 > 使用方法 > 數據整理的常用方法

數據整理的常用方法

發布時間:2022-01-09 08:02:54

㈠ 一般情況下,數據整理時比較常用的方法是畫()字。

㈡ 整理數據的主要方法

調查.觀察.測量.實驗.閱覽文獻.互連網,我剛在做

㈢ 整理資料的常用方法什麼

看你是要整理哪類的,一般都有其自己的規律。工程類的有專門的規則,其他的可以按照所涉及內容或是部門分類。

㈣ 數據處理的常用方式

數據分析與處理方法:
採集
在大數據的採集過程中,其主要特點和挑戰是並發數高,因為同時有可能會有成千上萬的用戶來進行訪問和操作,比如火車票售票網站和淘寶,它們並發的訪問量在峰值時達到上百萬,所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
統計/分析
統計與分析主要利用分布式資料庫,或者分布式計算集群來對存儲於其內的大量數據進行普通的分析和分類匯總等,以滿足大多數常見的分析需求,在這方面,一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata,以及基於MySQL的列式存儲Infobright等,而一些批處理,或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大,其對系統資源,特別是I/O會有極大的佔用。
導入/預處理
雖然採集端本身會有很多資料庫,但是如果要對這些大量數據進行有效的分析,還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫,或者分布式存儲集群,並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算,來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大,每秒鍾的導入量經常會達到百兆,甚至千兆級別。
挖掘
與前面統計和分析過程不同的是,數據挖掘一般沒有什麼預先設定好的主題,主要是在現有數據上面進行基於各種演算法的計算,從而起到預測的效果,從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的K-Means、用於統計學習的SVM和用於分類的NaiveBayes,主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜,並且計算涉及的數據量和計算量都很大,還有,常用數據挖掘演算法都以單線程為主。

㈤ 常用的數據處理方法

前面所述的各種放射性測量方法,包括航空γ能譜測量,地面γ能譜測量和氡及其子體的各種測量方法,都已用在石油放射性勘查工作之中。數據處理工作量大的是航空γ能譜測量。

(一)數據的光滑

為了減少測量數據的統計漲落影響及地面偶然因素的影響,對原始測量數據進行光滑處理。消除隨機影響。

放射性測量數據光滑,最常用的光滑方法是多項式擬合移動法。在要光滑測量曲線上任取一點,並在該點兩邊各取m個點,共有2m+1點;用一個以該點為中心的q階多項式對這一曲線段作最小二乘擬合,則該多項式在中心點的值,即為平滑後該點的值。用此法逐點處理,即得光滑後的曲線,光滑計算公式(公式推導略)為

核輻射場與放射性勘查

式中:yi+j、為第i點光滑前後的值;為系數;為規范化常數。

五點光滑的二次多項式的具體光滑公式為

核輻射場與放射性勘查

如果一次光滑不夠理想,可以重復進行1~2次,但不宜過多重復使用。

光滑方法,還有傅里葉變換法,以及多點平均值法,多點加權平均值法等。

使用那種方法選定之後,一般都通過編程存入計算機,進行自動化處理。

圖7-2-1是美國東得克薩斯州一個油田上的航空γ放射性異常中的兩條剖面圖(A-B和B-C)。經過光滑處理後,低值連續,清晰明顯,與油田對應的位置較好。說明四個油藏都在鈾(w(U))和鉀(w(K))的低值位置。

圖7-2-1 美國東得克薩斯油田航空γ放射性異常剖面圖

(二)趨勢面分析方法

趨勢分析主要反映測量變數在大范圍(區域)連續變化的趨勢。在原始數據中常含有許多隨機誤差和局部點異常,直觀反映是測量曲線上下跳動或小范圍突變。使用趨勢分析處理是為了得到研究區域輻射場的總體分布趨勢。

趨勢面分析,實質上是利用多元回歸分析,進行空間數據擬合。根據計算方法不同,又可分為圖解法趨勢面分析和數學計演算法趨勢面分析。圖解法趨勢面分析的基本思路是對觀測數據採用二維方塊取平均值法,或滑動平均值法計算趨勢值。方塊平均值法是對每一方塊內的數據取平均值,作為該方塊重心點的趨勢值。滑動平均值法是設想一個方框,放在測區數據分布的平面圖上,把落在方框內的測點數據取平均值,記在方框中心上,最後得到趨勢面等值圖。一般講做一次是不夠的,需要如此重復3~9次。一般都有專門程序可供使用(不作詳述)。如圖7-1-14(a)為原始數據等值圖,中間有許多呈點狀高值或低值分布,經過四次趨勢面分析之後可以清楚地看出三個低值異常區。

計演算法趨勢面分析是選定一個數學函數,對觀測數據進行擬合,給出一個曲線。擬合函數常用的有多項式函數,傅里葉級數,三角函數以及指數函數的多項式函數等。目前以二維多項式函數應用最多。

(三)岩性影響及其校正分析

不同岩石、不同土壤中放射性核素含量是有差別,有的相差還比較大,有的相差甚至超過10%~20%。這是油田放射性測量的主要影響因素。

一個測區可能出現不同土壤分布,把不同放射性水平的土壤上測量結果校正到同一水平(叫歸一化方法)是非常重要的工作,主要有下面三種方法。

1.確定土壤核素含量的歸一化方法

利用γ能譜測量資料,根據測區地質圖或土壤分布圖,分別統計總道的總計數率和鈾、釷、鉀含量的平均值。然後進行逐點校正,即逐點減去同類土壤的平均值,其剩餘值即為異常值。

核輻射場與放射性勘查

式中:分別為第 i類土壤中測點 j的總計數和鈾、釷、鉀含量。分別為i類土壤的平均總計數和鈾、釷、鉀的平均值。分別為扣除各類土壤平均值後的剩餘值,即為各測點不同土壤校正後的歸一化的油田的放射性異常。根據需要可以用來繪制平面剖面圖或等值線圖,即為經過不同岩性(土壤)校正後的油田放射性異常圖。

這個方法的缺點是計算工作量較大。

2.用釷歸一化校正鈾、鉀含量

對自然界各種岩石中的釷、鈾、鉀含量的相關性研究(D.F.Saundr,1987),發現它們的含量具有很好的相關性(表7-2-2);而且隨岩性不同含量確有相應的增加或減小,據此可以利用釷的含量計算鈾和鉀的含量。釷有很好的化學穩定性,釷在地表環境條件下基本不流失。因此,利用釷含量計算出來的鈾、鉀含量,應當是與油藏存在引起的鈾、鉀

表7-2-2 幾種岩石的釷、鈾、鉀含量

異常無關的正常值。用每點實測的鈾、鉀,減去計算的正常值,那麼每個測點的鈾、鉀剩餘值(差值)應當是油氣藏引起的異常值。這樣就校正了岩性(土壤)變化的影響。

對於航空γ能譜測量的總道計數率,也同樣可以用釷含量(或計數率)歸一化校正總道計數率,效果也非常好。

具體方法如下。

1)對鈾、鉀的歸一化校正。

2)根據航空γ能譜測量或地面γ能譜測量數據,按測線計算鈾、釷、鉀含量。根據岩石(土壤)中釷與鈾,釷與鉀的相關關系(表7-2-1),認為鈾和釷存在線性關系,鉀和釷存在對數線性關系,於是建立相應的擬合關系式。

核輻射場與放射性勘查

式中:A、B、A′、B′為回歸系數(對每個測區得到一組常數);wi(Th)為測點i實測的釷含量;w點i(U)、w點i(K)為i點由釷含量計算的鈾、鉀含量。

計算每個測點的鈾、鉀剩餘值:

核輻射場與放射性勘查

式中:wi(U)、wi(K)為測點i的實測值。剩餘值Δwi(U)和Δwi(K)為油藏引起的異常值。

南陽-泌陽航空γ能譜測區,測得的釷、鈾、鉀含量,按釷含量分間隔,計算其平均值,列於表7-2-3。根據此表中數據,由(7-2-7)和(7-2-8)式得:

核輻射場與放射性勘查

表7-2-3 南陽-泌陽航空γ能譜計算的釷、鈾、鉀

3)對總道γ計數率的歸一化校正。釷比較穩定,可以認為與油氣藏形成的放射性異常無關。經研究得知,原岩的總道計數率(I點i)與釷含量的對數值存在近似的線性關系,即

核輻射場與放射性勘查

根據γ能譜實測數據求得實測i點的總道計數率(Ii)與I點i的差值:

核輻射場與放射性勘查

即為消除岩性影響的,由油氣藏引起的γ總計數率異常值。

圖7-2-2 釷歸一化校正岩性影響的結果

圖7-2-2為任丘雙河油田,兩條測線(1100線和11010線)。用釷歸一化法,消除岩性影響的結果。油田邊界高值和油田上方低值,除鉀11010線外都比較明顯清晰。與已知油田邊界基本一致。

㈥ 數據處理的基本方法有哪些

典型的計算方法有:1、列表法2、作圖法3、逐差法4、最小二乘法等等

㈦ 常用數據分析處理方法有哪些

1、漏斗分析法


漏斗分析法能夠科學反映用戶行為狀態,以及從起點到終點各階段用戶轉化率情況,是一種重要的分析模型。漏斗分析模型已經廣泛應用於網站和APP的用戶行為分析中,例如流量監控、CRM系統、SEO優化、產品營銷和銷售等日常數據運營與數據分析工作中。


2、留存分析法


留存分析法是一種用來分析用戶參與情況和活躍程度的分析模型,考察進行初始行為的用戶中,有多少人會進行後續行為。從用戶的角度來說,留存率越高就說明這個產品對用戶的核心需求也把握的越好,轉化成產品的活躍用戶也會更多,最終能幫助公司更好的盈利。


3、分組分析法


分組分析法是根據數據分析對象的特徵,按照一定的標志(指標),把數據分析對象劃分為不同的部分和類型來進行研究,以揭示其內在的聯系和規律性。


4、矩陣分析法


矩陣分析法是指根據事物(如產品、服務等)的兩個重要屬性(指標)作為分析的依據,進行分類關聯分析,找出解決問題的一種分析方法,也稱為矩陣關聯分析法,簡稱矩陣分析法。

閱讀全文

與數據整理的常用方法相關的資料

熱點內容
高精度電阻測量方法 瀏覽:419
手機卡頓流量解決方法 瀏覽:614
簡單小吊燈的製作方法 瀏覽:417
物聯卡使用方法 瀏覽:88
千秋架正確使用方法 瀏覽:654
病毒培養方法和技巧 瀏覽:160
冬天生菜種植時間和方法 瀏覽:686
絕緣電阻檢測方法 瀏覽:475
椴樹蜂蜜的食用方法 瀏覽:522
污水裡臭氧檢測用什麼方法 瀏覽:463
石膏三相分析測定標准方法 瀏覽:891
超凡先鋒訓練方法 瀏覽:159
小兒發燒快速退燒推腳掌方法 瀏覽:718
古詩鑒賞的抒情方法有哪些 瀏覽:67
檢測年齡最准確的方法 瀏覽:87
粉色翡翠鑒別最簡單方法 瀏覽:589
膀手擊肋的正確方法 瀏覽:414
超市裡買的玉米食用方法 瀏覽:980
如何播種小麥傳統方法 瀏覽:886
閱讀自己的最佳方法 瀏覽:86