数字图像处理主要研究的内容有以下几个方面:
1) 图像变换由于图像阵列很大,直接在空间域中进行处理,涉及计算量很大。因此,往往采用各种图像变换的方法,如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术,将空间域的处理转换为变换域处理,不仅可减少计算量,而且可获得更有效的处理(如傅立叶变换可在频域中进行数字滤波处理)。目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性,它在图像处理中也有着广泛而有效的应用。
2) 图像编码压缩图像编码压缩技术可减少描述图像的数据量(即比特数),以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得,也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法,它在图像处理技术中是发展最早且比较成熟的技术。
3) 图像增强和复原图像增强和复原的目的是为了提高图像的质量,如去除噪声,提高图像的清晰度等。图像增强不考虑图像降质的原因,突出图像中所感兴趣的部分。如强化图像高频分量,可使图像中物体轮廓清晰,细节明显;如强化低频分量可减少图像中噪声影响。图像复原要求对图像降质的原因有一定的了解,一般讲应根据降质过程建立"降质模型",再采用某种滤波方法,恢复或重建原来的图像。
4) 图像分割图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来,其有意义的特征有图像中的边缘、区域等,这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少边缘提取、区域分割的方法,但还没有一种普遍适用于各种图像的有效方法。因此,对图像分割的研究还在不断深入之中,是目前图像处理中研究的热点之一。
5) 图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性,一般图像的描述方法采用二维形状描述,它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展,已经开始进行三维物体描述的研究,提出了体积描述、表面描述、广义圆柱体描述等方法。
6) 图像分类(识别)图像分类(识别)属于模式识别的范畴,其主要内容是图像经过某些预处理(增强、复原、压缩)后,进行图像分割和特征提取,从而进行判决分类。图像分类常采用经典的模式识别方法,有统计模式分类和句法(结构)模式分类,近年来新发展起来的模糊模式识别和人工神经网络模式分类在图像识别中也越来越受到重视。
Ⅱ 大数据分析的基本方法有哪些
1.可视化分析
不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。
2. 数据挖掘算法
可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。
3. 预测性分析能力
数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4. 语义引擎
由于非结构化数据的多样性带来了数据分析的新的挑战,需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5. 数据质量和数据管理
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
Ⅲ 实验方法和数据分析方法,看看其中数据情况,怎么处理的
实验数据处理的几种方法
物理实验中测量得到的许多数据需要处理后才能表示测量的最终结果。对实验数据进行记录、整理、计算、分析、拟合等,从中获得实验结果和寻找物理量变化规律或经验公式的过程就是数据处理。它是实验方法的一个重要组成部分,是实验课的基本训练内容。本章主要介绍列表法、作图法、图解法、逐差法和最小二乘法。
1.4.1 列表法
列表法就是将一组实验数据和计算的中间数据依据一定的形式和顺序列成表格。列表法可以简单明确地表示出物理量之间的对应关系,便于分析和发现资料的规律性,也有助于检查和发现实验中的问题,这就是列表法的优点。设计记录表格时要做到:
(1)表格设计要合理,以利于记录、检查、运算和分析。
(2)表格中涉及的各物理量,其符号、单位及量值的数量级均要表示清楚。但不要把单位写在数字后。
(3)表中数据要正确反映测量结果的有效数字和不确定度。列入表中的除原始数据外,计算过程中的一些中间结果和最后结果也可以列入表中。
(4)表格要加上必要的说明。实验室所给的数据或查得的单项数据应列在表格的上部,说明写在表格的下部。
1.4.2 作图法
作图法是在坐标纸上用图线表示物理量之间的关系,揭示物理量之间的联系。作图法既有简明、形象、直观、便于比较研究实验结果等优点,它是一种最常用的数据处理方法。
作图法的基本规则是:
(1)根据函数关系选择适当的坐标纸(如直角坐标纸,单对数坐标纸,双对数坐标纸,极坐标纸等)和比例,画出坐标轴,标明物理量符号、单位和刻度值,并写明测试条件。
(2)坐标的原点不一定是变量的零点,可根据测试范围加以选择。,坐标分格最好使最低数字的一个单位可靠数与坐标最小分度相当。纵横坐标比例要恰当,以使图线居中。
(3)描点和连线。根据测量数据,用直尺和笔尖使其函数对应的实验点准确地落在相应的位置。一张图纸上画上几条实验曲线时,每条图线应用不同的标记如“+”、“×”、“·”、“Δ”等符号标出,以免混淆。连线时,要顾及到数据点,使曲线呈光滑曲线(含直线),并使数据点均匀分布在曲线(直线)的两侧,且尽量贴近曲线。个别偏离过大的点要重新审核,属过失误差的应剔去。
Ⅳ 基于影像特征的图像分割
通过遥感变化信息检测方法对两时相遥感影像进行处理分析后,得到 “变化信息”影像,同时为了便于后续震害信息的识别,需要把这些变化信息从复杂的环境背景中提取出来,得到一个仅包含变化信息的二值影像,这里就需要用到图像分割 ( ImageSegmentation ) 技术。图 像 分 割 包括 手 动分 割 和 自动分割两种,手动分割是指操作者利用相关的经验进行小图斑的合并、提取和取舍,但是对于大区域遥感影像来说,手工操作工作量大、效率低、速度慢、周期长、容易漏掉小图斑,并且分割图斑的边界容易受到操作者的主观控制,对精度的影响也较大,所以本研究中的图像分割一般指的是自动分割。
退化废弃地遥感信息提取研究
图 4 -11 基于 MNF/ICA 多源遥感变化信息检测法结果从 20 世纪 70 年代起,图像分割方法一直受到各国学者的关注,至今已经提出了很多种分割方法,FuK. S. ( 1981) 将分割方法分成阈值分割、边缘分割和区域分割,实际上区域分割包含了阈值分割。蔡殉、朱波 ( 2002) 则将图像分割方法分成更多的类别,包括阈值分割、彩色分割、基于模糊集法、深度分割、像素分割、区域增长法,其中彩色分割、深度分割和像素分割都属于阈值分割。
由于现今遥感变化信息检测还处于像元级别 ( 钟家强,2005) ,通过不同检测方法,对灰度、彩色影像进行处理变换,使得变化信息的灰度 ( 像素值) 和色彩信息得到加强,通常表现出灰白色 ( 图 4 - 8、图 4 - 9) 和亮绿色 ( 图 4 - 11) ,与周围地物的色标不协调,可以通过确定相关的变化阈值把变化区域分割出来。但是由于变化信息受到太阳辐射、大气干扰、传感器参数、空间分辨率、光谱分辨率以及季节差异等因素影响,变化图斑的灰度有时在一定的范围内波动,增加了变化信息精确分割的难度,这使得变化阈值的确定显得尤为重要。
( 一) 变化影像特征分析
通过多时相遥感变化信息检测方法得到的灰度或彩色影像通常具有以下特征: ① 影像中光谱特征复杂,包含的地物类型众多,但是变化信息和背景环境的光谱性质不一致。② 灰度影像的变换信息图斑一般分布在灰度轴的两端 ( 就是较亮的区域) ,不过有时也可能位于暗端,极少数情况下也可能位于两者之间,这要根据具体的遥感数据和采用何种检测方法来定; 彩色影像变化信息图斑一般为亮绿色,是否能够和周围地物类型明显区分要根据实际情况而定。③ 变化信息图斑内部的灰度值比较均匀,但是会在一定范围内波动,所以图像分割时很容易丢失细小的图斑。④ 变化信息图斑之间灰度特征比较相似 ( 一致) ,但是纹理特征的差别通常较明显,因为变化信息的图斑可能属于不同的地物类型,所以通常不能用纹理信息来分割变化信息图斑。⑤ 由于非人为控制的因素,影像中不可避免地存在一些噪声信息,这些噪声信息一般表现在与变化信息图斑接近的小图斑( 图 4 - 9 表现得特别明显) ,所以分割的时候要区分哪些是变化信息图斑,哪些是噪声图斑。⑥ 对于不同的环境和区域,变化信息图斑是服从随机分布的,有的地方稀疏,有的地方密集。
( 二) 单阈值区域分割法
单阈值区域分割是一种简单有效的图像分割方法,其用一个阈值将变化图像的灰度级分为两个部分: 变化与未变化。其最大特点是计算简单,在重视运算效率的应用场合 ( 例如用于硬件实现) 得到了广泛应用 ( 冯德俊,2004) 。一般是利用图像的灰度直方图来确定分割阈值。在计算分割阈值时,常在去除噪声的基础上将灰度直方图包络成一条曲线,如果图像上有多个特征区域,其直方图就会出现多个峰值,每个峰值对应一个特征区域,而谷底值点就为分割阈值,用以划分不同的特征区域。
复杂图像的目标和背景的灰度值时常有部分交错,为了在分割时使这种错误分割的概率最小,需要寻找出最优的分割阈值,所以单阈值区域分割法也叫最优阈值法,意指能够使分割误差最小。图像的灰度直方图可以看成是像元灰度值的概率分布密度函数,假设一幅图像仅含有目标和背景两个主要的灰度值区域,那么其直方图就表示对应目标和背景两个单峰值的概率分布密度函数之和,如果已知密度函数的形式,就可以计算出使误差最小的最优阈值。其计算原理如下:
假设一幅含有高斯噪声的图像,其背景和目标的直方图(概率密度函数)分别为pb(z)和po(z),那么整个图像的混合概率密度p(z)为(章毓晋,2001):
退化废弃地遥感信息提取研究
式中:σb和σo分别为背景和目标均值的均方差;μb和μo分别为背景和目标的平均灰度值;pb和po分别为背景和目标区域灰度的先验概率,二者之和为1。如果μb<μo,需要确定阈值T,将小于阈值的分割作为背景,大于阈值的分割作为目标,假设将目标像元错误地划分为背景以及把背景错误地划分为目标的概率分别为Eb(T)和Eo(T),则总的误差为两者之和E(T)。为了使该误差最小,将总误差对T求导数,并令导数为零,得到
退化废弃地遥感信息提取研究
将该式代入式(4-3),可得二项式
退化废弃地遥感信息提取研究
求解该二项式得到最优阈值
退化废弃地遥感信息提取研究
最优阈值T的选取原理如图4-12所示,其原理可以概括为:将经过平滑去噪后的直方图看成一条曲线h(x),最优阈值T必须满足以下两个条件:
退化废弃地遥感信息提取研究
图4-12 最优阈值选取原理
设原始图像 f( x,y) 的灰度值范围为 G =[0,L -1],用最优单阈值法把图像分成两类,最优分割阈值为 T ( 0 < T < L -1) ,分割后生成的二值影像为 g( x,y) :
退化废弃地遥感信息提取研究
本研究在 ERDAS 软件下利用空间建模语言 ( SML) 实现了单阈值 ( 最优阈值) 法,分别分析了图 4 -8、图 4 -9 和图 4 -11 变化影像的直方图分布情况 ( 图 4 -13) ,并进行了最优阈值区域分割,把得到的三幅二值变化信息影像取合集,即把三幅影像相加,保留所有大于 1 的像素点,最后得到变化区域二值影像,如图 4 -14 所示。
图 4 -13 三幅变化影像的直方图曲线
图 4 -14 单阈值法提取的变化信息二值影像( 白色区域为发生变化的区域)
图 4 -15 双阈值模糊识别法计算流程
(三)双阈值模糊识别分割法
由于单阈值区域分割法只有一个全局阈值参与影像分割,然而影像受到大气、噪声、光照以及背景灰度变化的共同影响,导致了变化信息的灰度值总是在一定范围内波动,常常出现变化信息和噪声以及其他地物类别交错的现象。在这种情况下,单阈值区域分割难以满足精度的要求,如何区分出其中的变化信息?本研究提出了双阈值模糊识别分割法,其流程如图4-15所示。
利用变化图像的灰度直方图计算得到两个阈值T1和T2,并且T1<T2,然后利用双阈值法对变化图像进行分割(DaneKottkeetal.,1989、1998),将图像f(x,y)分割为三个类别:背景、不确定类、变化信息:
退化废弃地遥感信息提取研究
对其中不确定的像元保留其灰度值不变,利用模糊识别算子构建目标函数,分别计算出该像元属于两种不同类别(背景和变化信息)的模糊隶属度,通过比较两种隶属度的大小判断其归属(把它归类到隶属度大的那一类当中),划分到背景与变化信息当中,直到完成所有不确定像元的划分,即完成了整个分割过程。
1.双阈值T1和T2的计算
核心阈值T1的计算按照公式4-5的单阈值(最优阈值法)区域分割法得到。核心阈值T2则是利用灰度直方图中大于T1阈值的像元灰度求平均值得到。
设影像的灰度值在0到255之间(8维图像),利用离散积分的原理来计算灰度的均值。如果利用单阈值法计算出来的最优阈值为T1,那么核心阈值T2的计算公式如下:
退化废弃地遥感信息提取研究
式中:ni表示变化图像中灰度为i的像元出现的个数。
2.模糊识别算法
模糊识别算法的基本思想如下(李希灿等,2003、2008):
首先将样本集规格化,就是把样本集的特征值规格化到0到1之间,设样本特征值y规格化为x,样本集n个样本划分为C个类别,则模糊识别矩阵为
退化废弃地遥感信息提取研究
式中:Uhj为样本j归属于第h类的相对隶属度,h=1,2,…,C,且应当满足以下条件:
退化废弃地遥感信息提取研究
设C个类别的特征值为标准指数或模糊聚类中心指标,则C个类别的中心指标向量为:
退化废弃地遥感信息提取研究
式中:Sh为第h类的中心指标,0≤Sh≤1且h=1,2,…,c,为了求解最优模糊识别矩阵U和模糊最优中心指标S,建立目标函数(李希灿,1998):
退化废弃地遥感信息提取研究
式4-14的意义是:样本集对于全体类别的加权广义海明距离平方和为最小。显然,在不分类别(h=1,Uhj=1)的情况下,该公式变为通常的最小二乘最优准则。在式4-14的目标函数下,计算出最优模糊划分的隶属度和中心指标向量:
退化废弃地遥感信息提取研究
式中:u*hj为样本j隶属于h类的隶属度。
3.分割归类
通过构造的目标函数(隶属度函数),分别计算出每个像素点属于“目标”(变化信息)和“背景”(非变化信息)的隶属度,并把它分入到隶属度大的那一类当中,从而完成图像分割的过程。
图4-16 双阈值模糊识别分割法二值影像
(白色区域为变化信息)
通过在ERDAS下利用空间建模语言(SML)实现该分割算法,分别将图4-8、图4-9和图4-11变化图像作为输入对象,进行双阈值模糊识别分割,得到的二值变化图像取合集最终结果如图4-16所示。从图4-16中可以看出,双阈值模糊识别分割法能够在一定程度上消除单阈值区域分割法中混杂在变化信息中的离散噪声和个别地物类型,使变化信息更加准确、集中,从而提高了分割的精度。实践证明,双阈值模糊识别分割法有着坚实的理论基础,并且在实际变化信息的分割中能够取得很好的效果,是一种可行、可靠的图像分割自动算法。