數字圖像處理主要研究的內容有以下幾個方面:
1) 圖像變換由於圖像陣列很大,直接在空間域中進行處理,涉及計算量很大。因此,往往採用各種圖像變換的方法,如傅立葉變換、沃爾什變換、離散餘弦變換等間接處理技術,將空間域的處理轉換為變換域處理,不僅可減少計算量,而且可獲得更有效的處理(如傅立葉變換可在頻域中進行數字濾波處理)。目前新興研究的小波變換在時域和頻域中都具有良好的局部化特性,它在圖像處理中也有著廣泛而有效的應用。
2) 圖像編碼壓縮圖像編碼壓縮技術可減少描述圖像的數據量(即比特數),以便節省圖像傳輸、處理時間和減少所佔用的存儲器容量。壓縮可以在不失真的前提下獲得,也可以在允許的失真條件下進行。編碼是壓縮技術中最重要的方法,它在圖像處理技術中是發展最早且比較成熟的技術。
3) 圖像增強和復原圖像增強和復原的目的是為了提高圖像的質量,如去除雜訊,提高圖像的清晰度等。圖像增強不考慮圖像降質的原因,突出圖像中所感興趣的部分。如強化圖像高頻分量,可使圖像中物體輪廓清晰,細節明顯;如強化低頻分量可減少圖像中雜訊影響。圖像復原要求對圖像降質的原因有一定的了解,一般講應根據降質過程建立"降質模型",再採用某種濾波方法,恢復或重建原來的圖像。
4) 圖像分割圖像分割是數字圖像處理中的關鍵技術之一。圖像分割是將圖像中有意義的特徵部分提取出來,其有意義的特徵有圖像中的邊緣、區域等,這是進一步進行圖像識別、分析和理解的基礎。雖然目前已研究出不少邊緣提取、區域分割的方法,但還沒有一種普遍適用於各種圖像的有效方法。因此,對圖像分割的研究還在不斷深入之中,是目前圖像處理中研究的熱點之一。
5) 圖像描述是圖像識別和理解的必要前提。作為最簡單的二值圖像可採用其幾何特性描述物體的特性,一般圖像的描述方法採用二維形狀描述,它有邊界描述和區域描述兩類方法。對於特殊的紋理圖像可採用二維紋理特徵描述。隨著圖像處理研究的深入發展,已經開始進行三維物體描述的研究,提出了體積描述、表面描述、廣義圓柱體描述等方法。
6) 圖像分類(識別)圖像分類(識別)屬於模式識別的范疇,其主要內容是圖像經過某些預處理(增強、復原、壓縮)後,進行圖像分割和特徵提取,從而進行判決分類。圖像分類常採用經典的模式識別方法,有統計模式分類和句法(結構)模式分類,近年來新發展起來的模糊模式識別和人工神經網路模式分類在圖像識別中也越來越受到重視。
Ⅱ 大數據分析的基本方法有哪些
1.可視化分析
不管是對數據分析專家還是普通用戶,數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據,讓數據自己說話,讓觀眾聽到結果。
2. 數據挖掘演算法
可視化是給人看的,數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部,挖掘價值。這些演算法不僅要處理大數據的量,也要處理大數據的速度。
3. 預測性分析能力
數據挖掘可以讓分析員更好的理解數據,而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4. 語義引擎
由於非結構化數據的多樣性帶來了數據分析的新的挑戰,需要一系列的工具去解析,提取,分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。
5. 數據質量和數據管理
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
Ⅲ 實驗方法和數據分析方法,看看其中數據情況,怎麼處理的
實驗數據處理的幾種方法
物理實驗中測量得到的許多數據需要處理後才能表示測量的最終結果。對實驗數據進行記錄、整理、計算、分析、擬合等,從中獲得實驗結果和尋找物理量變化規律或經驗公式的過程就是數據處理。它是實驗方法的一個重要組成部分,是實驗課的基本訓練內容。本章主要介紹列表法、作圖法、圖解法、逐差法和最小二乘法。
1.4.1 列表法
列表法就是將一組實驗數據和計算的中間數據依據一定的形式和順序列成表格。列表法可以簡單明確地表示出物理量之間的對應關系,便於分析和發現資料的規律性,也有助於檢查和發現實驗中的問題,這就是列表法的優點。設計記錄表格時要做到:
(1)表格設計要合理,以利於記錄、檢查、運算和分析。
(2)表格中涉及的各物理量,其符號、單位及量值的數量級均要表示清楚。但不要把單位寫在數字後。
(3)表中數據要正確反映測量結果的有效數字和不確定度。列入表中的除原始數據外,計算過程中的一些中間結果和最後結果也可以列入表中。
(4)表格要加上必要的說明。實驗室所給的數據或查得的單項數據應列在表格的上部,說明寫在表格的下部。
1.4.2 作圖法
作圖法是在坐標紙上用圖線表示物理量之間的關系,揭示物理量之間的聯系。作圖法既有簡明、形象、直觀、便於比較研究實驗結果等優點,它是一種最常用的數據處理方法。
作圖法的基本規則是:
(1)根據函數關系選擇適當的坐標紙(如直角坐標紙,單對數坐標紙,雙對數坐標紙,極坐標紙等)和比例,畫出坐標軸,標明物理量符號、單位和刻度值,並寫明測試條件。
(2)坐標的原點不一定是變數的零點,可根據測試范圍加以選擇。,坐標分格最好使最低數字的一個單位可靠數與坐標最小分度相當。縱橫坐標比例要恰當,以使圖線居中。
(3)描點和連線。根據測量數據,用直尺和筆尖使其函數對應的實驗點准確地落在相應的位置。一張圖紙上畫上幾條實驗曲線時,每條圖線應用不同的標記如「+」、「×」、「·」、「Δ」等符號標出,以免混淆。連線時,要顧及到數據點,使曲線呈光滑曲線(含直線),並使數據點均勻分布在曲線(直線)的兩側,且盡量貼近曲線。個別偏離過大的點要重新審核,屬過失誤差的應剔去。
Ⅳ 基於影像特徵的圖像分割
通過遙感變化信息檢測方法對兩時相遙感影像進行處理分析後,得到 「變化信息」影像,同時為了便於後續震害信息的識別,需要把這些變化信息從復雜的環境背景中提取出來,得到一個僅包含變化信息的二值影像,這里就需要用到圖像分割 ( ImageSegmentation ) 技術。圖 像 分 割 包括 手 動分 割 和 自動分割兩種,手動分割是指操作者利用相關的經驗進行小圖斑的合並、提取和取捨,但是對於大區域遙感影像來說,手工操作工作量大、效率低、速度慢、周期長、容易漏掉小圖斑,並且分割圖斑的邊界容易受到操作者的主觀控制,對精度的影響也較大,所以本研究中的圖像分割一般指的是自動分割。
退化廢棄地遙感信息提取研究
圖 4 -11 基於 MNF/ICA 多源遙感變化信息檢測法結果從 20 世紀 70 年代起,圖像分割方法一直受到各國學者的關注,至今已經提出了很多種分割方法,FuK. S. ( 1981) 將分割方法分成閾值分割、邊緣分割和區域分割,實際上區域分割包含了閾值分割。蔡殉、朱波 ( 2002) 則將圖像分割方法分成更多的類別,包括閾值分割、彩色分割、基於模糊集法、深度分割、像素分割、區域增長法,其中彩色分割、深度分割和像素分割都屬於閾值分割。
由於現今遙感變化信息檢測還處於像元級別 ( 鍾家強,2005) ,通過不同檢測方法,對灰度、彩色影像進行處理變換,使得變化信息的灰度 ( 像素值) 和色彩信息得到加強,通常表現出灰白色 ( 圖 4 - 8、圖 4 - 9) 和亮綠色 ( 圖 4 - 11) ,與周圍地物的色標不協調,可以通過確定相關的變化閾值把變化區域分割出來。但是由於變化信息受到太陽輻射、大氣干擾、感測器參數、空間解析度、光譜解析度以及季節差異等因素影響,變化圖斑的灰度有時在一定的范圍內波動,增加了變化信息精確分割的難度,這使得變化閾值的確定顯得尤為重要。
( 一) 變化影像特徵分析
通過多時相遙感變化信息檢測方法得到的灰度或彩色影像通常具有以下特徵: ① 影像中光譜特徵復雜,包含的地物類型眾多,但是變化信息和背景環境的光譜性質不一致。② 灰度影像的變換信息圖斑一般分布在灰度軸的兩端 ( 就是較亮的區域) ,不過有時也可能位於暗端,極少數情況下也可能位於兩者之間,這要根據具體的遙感數據和採用何種檢測方法來定; 彩色影像變化信息圖斑一般為亮綠色,是否能夠和周圍地物類型明顯區分要根據實際情況而定。③ 變化信息圖斑內部的灰度值比較均勻,但是會在一定范圍內波動,所以圖像分割時很容易丟失細小的圖斑。④ 變化信息圖斑之間灰度特徵比較相似 ( 一致) ,但是紋理特徵的差別通常較明顯,因為變化信息的圖斑可能屬於不同的地物類型,所以通常不能用紋理信息來分割變化信息圖斑。⑤ 由於非人為控制的因素,影像中不可避免地存在一些雜訊信息,這些雜訊信息一般表現在與變化信息圖斑接近的小圖斑( 圖 4 - 9 表現得特別明顯) ,所以分割的時候要區分哪些是變化信息圖斑,哪些是雜訊圖斑。⑥ 對於不同的環境和區域,變化信息圖斑是服從隨機分布的,有的地方稀疏,有的地方密集。
( 二) 單閾值區域分割法
單閾值區域分割是一種簡單有效的圖像分割方法,其用一個閾值將變化圖像的灰度級分為兩個部分: 變化與未變化。其最大特點是計算簡單,在重視運算效率的應用場合 ( 例如用於硬體實現) 得到了廣泛應用 ( 馮德俊,2004) 。一般是利用圖像的灰度直方圖來確定分割閾值。在計算分割閾值時,常在去除雜訊的基礎上將灰度直方圖包絡成一條曲線,如果圖像上有多個特徵區域,其直方圖就會出現多個峰值,每個峰值對應一個特徵區域,而谷底值點就為分割閾值,用以劃分不同的特徵區域。
復雜圖像的目標和背景的灰度值時常有部分交錯,為了在分割時使這種錯誤分割的概率最小,需要尋找出最優的分割閾值,所以單閾值區域分割法也叫最優閾值法,意指能夠使分割誤差最小。圖像的灰度直方圖可以看成是像元灰度值的概率分布密度函數,假設一幅圖像僅含有目標和背景兩個主要的灰度值區域,那麼其直方圖就表示對應目標和背景兩個單峰值的概率分布密度函數之和,如果已知密度函數的形式,就可以計算出使誤差最小的最優閾值。其計算原理如下:
假設一幅含有高斯雜訊的圖像,其背景和目標的直方圖(概率密度函數)分別為pb(z)和po(z),那麼整個圖像的混合概率密度p(z)為(章毓晉,2001):
退化廢棄地遙感信息提取研究
式中:σb和σo分別為背景和目標均值的均方差;μb和μo分別為背景和目標的平均灰度值;pb和po分別為背景和目標區域灰度的先驗概率,二者之和為1。如果μb<μo,需要確定閾值T,將小於閾值的分割作為背景,大於閾值的分割作為目標,假設將目標像元錯誤地劃分為背景以及把背景錯誤地劃分為目標的概率分別為Eb(T)和Eo(T),則總的誤差為兩者之和E(T)。為了使該誤差最小,將總誤差對T求導數,並令導數為零,得到
退化廢棄地遙感信息提取研究
將該式代入式(4-3),可得二項式
退化廢棄地遙感信息提取研究
求解該二項式得到最優閾值
退化廢棄地遙感信息提取研究
最優閾值T的選取原理如圖4-12所示,其原理可以概括為:將經過平滑去噪後的直方圖看成一條曲線h(x),最優閾值T必須滿足以下兩個條件:
退化廢棄地遙感信息提取研究
圖4-12 最優閾值選取原理
設原始圖像 f( x,y) 的灰度值范圍為 G =[0,L -1],用最優單閾值法把圖像分成兩類,最優分割閾值為 T ( 0 < T < L -1) ,分割後生成的二值影像為 g( x,y) :
退化廢棄地遙感信息提取研究
本研究在 ERDAS 軟體下利用空間建模語言 ( SML) 實現了單閾值 ( 最優閾值) 法,分別分析了圖 4 -8、圖 4 -9 和圖 4 -11 變化影像的直方圖分布情況 ( 圖 4 -13) ,並進行了最優閾值區域分割,把得到的三幅二值變化信息影像取合集,即把三幅影像相加,保留所有大於 1 的像素點,最後得到變化區域二值影像,如圖 4 -14 所示。
圖 4 -13 三幅變化影像的直方圖曲線
圖 4 -14 單閾值法提取的變化信息二值影像( 白色區域為發生變化的區域)
圖 4 -15 雙閾值模糊識別法計算流程
(三)雙閾值模糊識別分割法
由於單閾值區域分割法只有一個全局閾值參與影像分割,然而影像受到大氣、雜訊、光照以及背景灰度變化的共同影響,導致了變化信息的灰度值總是在一定范圍內波動,常常出現變化信息和雜訊以及其他地物類別交錯的現象。在這種情況下,單閾值區域分割難以滿足精度的要求,如何區分出其中的變化信息?本研究提出了雙閾值模糊識別分割法,其流程如圖4-15所示。
利用變化圖像的灰度直方圖計算得到兩個閾值T1和T2,並且T1<T2,然後利用雙閾值法對變化圖像進行分割(DaneKottkeetal.,1989、1998),將圖像f(x,y)分割為三個類別:背景、不確定類、變化信息:
退化廢棄地遙感信息提取研究
對其中不確定的像元保留其灰度值不變,利用模糊識別運算元構建目標函數,分別計算出該像元屬於兩種不同類別(背景和變化信息)的模糊隸屬度,通過比較兩種隸屬度的大小判斷其歸屬(把它歸類到隸屬度大的那一類當中),劃分到背景與變化信息當中,直到完成所有不確定像元的劃分,即完成了整個分割過程。
1.雙閾值T1和T2的計算
核心閾值T1的計算按照公式4-5的單閾值(最優閾值法)區域分割法得到。核心閾值T2則是利用灰度直方圖中大於T1閾值的像元灰度求平均值得到。
設影像的灰度值在0到255之間(8維圖像),利用離散積分的原理來計算灰度的均值。如果利用單閾值法計算出來的最優閾值為T1,那麼核心閾值T2的計算公式如下:
退化廢棄地遙感信息提取研究
式中:ni表示變化圖像中灰度為i的像元出現的個數。
2.模糊識別演算法
模糊識別演算法的基本思想如下(李希燦等,2003、2008):
首先將樣本集規格化,就是把樣本集的特徵值規格化到0到1之間,設樣本特徵值y規格化為x,樣本集n個樣本劃分為C個類別,則模糊識別矩陣為
退化廢棄地遙感信息提取研究
式中:Uhj為樣本j歸屬於第h類的相對隸屬度,h=1,2,…,C,且應當滿足以下條件:
退化廢棄地遙感信息提取研究
設C個類別的特徵值為標准指數或模糊聚類中心指標,則C個類別的中心指標向量為:
退化廢棄地遙感信息提取研究
式中:Sh為第h類的中心指標,0≤Sh≤1且h=1,2,…,c,為了求解最優模糊識別矩陣U和模糊最優中心指標S,建立目標函數(李希燦,1998):
退化廢棄地遙感信息提取研究
式4-14的意義是:樣本集對於全體類別的加權廣義海明距離平方和為最小。顯然,在不分類別(h=1,Uhj=1)的情況下,該公式變為通常的最小二乘最優准則。在式4-14的目標函數下,計算出最優模糊劃分的隸屬度和中心指標向量:
退化廢棄地遙感信息提取研究
式中:u*hj為樣本j隸屬於h類的隸屬度。
3.分割歸類
通過構造的目標函數(隸屬度函數),分別計算出每個像素點屬於「目標」(變化信息)和「背景」(非變化信息)的隸屬度,並把它分入到隸屬度大的那一類當中,從而完成圖像分割的過程。
圖4-16 雙閾值模糊識別分割法二值影像
(白色區域為變化信息)
通過在ERDAS下利用空間建模語言(SML)實現該分割演算法,分別將圖4-8、圖4-9和圖4-11變化圖像作為輸入對象,進行雙閾值模糊識別分割,得到的二值變化圖像取合集最終結果如圖4-16所示。從圖4-16中可以看出,雙閾值模糊識別分割法能夠在一定程度上消除單閾值區域分割法中混雜在變化信息中的離散雜訊和個別地物類型,使變化信息更加准確、集中,從而提高了分割的精度。實踐證明,雙閾值模糊識別分割法有著堅實的理論基礎,並且在實際變化信息的分割中能夠取得很好的效果,是一種可行、可靠的圖像分割自動演算法。