‘壹’ 分类数据和顺序数据的整理和图示方法各有那些
对于分类数据:
(1)数据的整理方法有列出所分的类别,计算每一类别的频数、频率、比例、比率等
(2)图示方法有条形图和圆形图
对于顺序数据:
(1)数据的整理方法中包括所有的处理分类数据的方法,同时还可以计算累积频数和累积频率
(2)图示方法包括累积分布图和环形图
1、聚类分析(Cluster Analysis)
聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程,所以同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类。聚类分析所使用方法的不同,常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析,所得到的聚类数未必一致。
2、因子分析(Factor Analysis)
因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系,减少决策的困难。
因子分析的方法约有10多种,如重心法、影像分析法,最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法,是以相关系数矩阵为基础的,所不同的是相关系数矩阵对角线上的值,采用不同的共同性□2估值。在社会学研究中,因子分析常采用以主成分分析为基础的反复法。
3、相关分析(Correlation Analysis)
相关分析(correlation analysis),相关分析是研究现象之间是否存在某种依存关系,并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系,例如,以X和Y分别记一个人的身高和体重,或分别记每公顷施肥量与每公顷小麦产量,则X与Y显然有关系,而又没有确切到可由其中的一个去精确地决定另一个的程度,这就是相关关系。
4、对应分析(Correspondence Analysis)
对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析,通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异,以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
5、回归分析
研究一个随机变量Y对另一个(X)或一组(X1,X2,…,Xk)变量的相依关系的统计分析方法。回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛,回归分析按照涉及的自变量的多少,可分为一元回归分析和多元回归分析;按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析。
6、方差分析(ANOVA/Analysis of Variance)
又称“变异数分析”或“F检验”,是R.A.Fisher发明的,用于两个及两个以上样本均数差别的显着性检验。由于各种因素的影响,研究所得的数据呈现波动状。造成波动的原因可分成两类,一是不可控的随机因素,另一是研究中施加的对结果形成影响的可控因素。方差分析是从观测变量的方差入手,研究诸多控制变量中哪些变量是对观测变量有显着影响的变量。这个 还需要具体问题具体分析
‘叁’ 各种遥感数据分类方法比较
常用的遥感数据的专题分类方法有多种,从分类判别决策方法的角度可以分为统计分类器、神经网络分类器、专家系统分类器等;从是否需要训练数据方面,又可以分为监督分类器和非监督分类器。
一、统计分类方法
统计分类方法分为非监督分类方法和监督分类方法。非监督分类方法不需要通过选取已知类别的像元进行分类器训练,而监督分类方法则需要选取一定数量的已知类别的像元对分类器进行训练,以估计分类器中的参数。非监督分类方法不需要任何先验知识,也不会因训练样本选取而引入认为误差,但非监督分类得到的自然类别常常和研究感兴趣的类别不匹配。相应地,监督分类一般需要预先定义分类类别,训练数据的选取可能会缺少代表性,但也可能在训练过程中发现严重的分类错误。
1.非监督分类器
非监督分类方法一般为聚类算法。最常用的聚类非监督分类方法是 K-均值(K-Means Algorithm)聚类方法(Duda and Hart,1973)和迭代自组织数据分析算法(ISODATA)。其算法描述可见于一般的统计模式识别文献中。
一般通过简单的聚类方法得到的分类结果精度较低,因此很少单独使用聚类方法进行遥感数据专题分类。但是,通过对遥感数据进行聚类分析,可以初步了解各类别的分布,获取最大似然监督分类中各类别的先验概率。聚类分析最终的类别的均值矢量和协方差矩阵可以用于最大似然分类过程(Schowengerdt,1997)。
2.监督分类器
监督分类器是遥感数据专题分类中最常用的一种分类器。和非监督分类器相比,监督分类器需要选取一定数量的训练数据对分类器进行训练,估计分类器中的关键参数,然后用训练后的分类器将像元划分到各类别。监督分类过程一般包括定义分类类别、选择训练数据、训练分类器和最终像元分类四个步骤(Richards,1997)。每一步都对最终分类的不确定性有显着影响。
监督分类器又分为参数分类器和非参数分类器两种。参数分类器要求待分类数据满足一定的概率分布,而非参数分类器对数据的概率分布没有要求。
遥感数据分类中常用的分类器有最大似然分类器、最小距离分类器、马氏距离分类器、K-最近邻分类器(K-Nearest neighborhood classifier,K-NN)以及平行六面体分类器(parallelepiped classifier)。最大似然、最小距离和马氏距离分类器在第三章已经详细介绍。这里简要介绍 K-NN 分类器和平行六面体分类器。
K-NN分类器是一种非参数分类器。该分类器的决策规则是:将像元划分到在特征空间中与其特征矢量最近的训练数据特征矢量所代表的类别(Schowengerdt,1997)。当分类器中 K=1时,称为1-NN分类器,这时以离待分类像元最近的训练数据的类别作为该像元的类别;当 K >1 时,以待分类像元的 K 个最近的训练数据中像元数量最多的类别作为该像元的类别,也可以计算待分类像元与其 K 个近邻像元特征矢量的欧氏距离的倒数作为权重,以权重值最大的训练数据的类别作为待分类像元的类别。Hardin,(1994)对 K-NN分类器进行了深入的讨论。
平行六面体分类方法是一个简单的非参数分类算法。该方法通过计算训练数据各波段直方图的上限和下限确定各类别像元亮度值的范围。对每一类别来说,其每个波段的上下限一起就形成了一个多维的盒子(box)或平行六面体(parallelepiped)。因此 M 个类别就有M 个平行六面体。当待分类像元的亮度值落在某一类别的平行六面体内时,该像元就被划分为该平行六面体代表的类别。平行六面体分类器可以用图5-1中两波段的遥感数据分类问题来表示。图中的椭圆表示从训练数据估计的各类别亮度值分布,矩形表示各类别的亮度值范围。像元的亮度落在哪个类别的亮度范围内,就被划分为哪个类别。
图5-1 平行六面体分类方法示意图
3.统计分类器的评价
各种统计分类器在遥感数据分类中的表现各不相同,这既与分类算法有关,又与数据的统计分布特征、训练样本的选取等因素有关。
非监督聚类算法对分类数据的统计特征没有要求,但由于非监督分类方法没有考虑任何先验知识,一般分类精度比较低。更多情况下,聚类分析被作为非监督分类前的一个探索性分析,用于了解分类数据中各类别的分布和统计特征,为监督分类中类别定义、训练数据的选取以及最终的分类过程提供先验知识。在实际应用中,一般用监督分类方法进行遥感数据分类。
最大似然分类方法是遥感数据分类中最常用的分类方法。最大似然分类属于参数分类方法。在有足够多的训练样本、一定的类别先验概率分布的知识,且数据接近正态分布的条件下,最大似然分类被认为是分类精度最高的分类方法。但是当训练数据较少时,均值和协方差参数估计的偏差会严重影响分类精度。Swain and Davis(1978)认为,在N维光谱空间的最大似然分类中,每一类别的训练数据样本至少应该达到10×N个,在可能的条件下,最好能达到100×N以上。而且,在许多情况下,遥感数据的统计分布不满足正态分布的假设,也难以确定各类别的先验概率。
最小距离分类器可以认为是在不考虑协方差矩阵时的最大似然分类方法。当训练样本较少时,对均值的估计精度一般要高于对协方差矩阵的估计。因此,在有限的训练样本条件下,可以只估计训练样本的均值而不计算协方差矩阵。这样最大似然算法就退化为最小距离算法。由于没有考虑数据的协方差,类别的概率分布是对称的,而且各类别的光谱特征分布的方差被认为是相等的。很显然,当有足够训练样本保证协方差矩阵的精确估计时,最大似然分类结果精度要高于最小距离精度。然而,在训练数据较少时,最小距离分类精度可能比最大似然分类精度高(Richards,1993)。而且最小距离算法对数据概率分布特征没有要求。
马氏距离分类器可以认为是在各类别的协方差矩阵相等时的最大似然分类。由于假定各类别的协方差矩阵相等,和最大似然方法相比,它丢失了各类别之间协方差矩阵的差异的信息,但和最小距离法相比较,它通过协方差矩阵保持了一定的方向灵敏性(Richards,1993)。因此,马氏距离分类器可以认为是介于最大似然和最小距离分类器之间的一种分类器。与最大似然分类一样,马氏距离分类器要求数据服从正态分布。
K-NN分类器的一个主要问题是需要很大的训练数据集以保证分类算法收敛(Devijver and Kittler,1982)。K-NN分类器的另一个问题是,训练样本选取的误差对分类结果有很大的影响(Cortijo and Blanca,1997)。同时,K-NN分类器的计算复杂性随着最近邻范围的扩大而增加。但由于 K-NN分类器考虑了像元邻域上的空间关系,和其他光谱分类器相比,分类结果中“椒盐现象”较少。
平行六面体分类方法的优点在于简单,运算速度快,且不依赖于任何概率分布要求。它的缺陷在于:首先,落在所有类别亮度值范围之外的像元只能被分类为未知类别;其次,落在各类别亮度范围重叠区域内的像元难以区分其类别(如图5-1所示)。
各种统计分类方法的特点可以总结为表5-1。
二、神经网络分类器
神经网络用于遥感数据分类的最大优势在于它平等地对待多源输入数据的能力,即使这些输入数据具有完全不同的统计分布,但是由于神经网络内部各层大量的神经元之间连接的权重是不透明的,因此用户难以控制(Austin,Harding and Kanellopoulos et al.,1997)。
神经网络遥感数据分类被认为是遥感数据分类的热点研究领域之一(Wilkinson,1996;Kimes,1998)。神经网络分类器也可分为监督分类器和非监督分类器两种。由于神经网络分类器对分类数据的统计分布没有任何要求,因此神经网络分类器属于非参数分类器。
遥感数据分类中最常用的神经网络是多层感知器模型(multi-layer percep-tron,MLP)。该模型的网络结构如图5-2所示。该网络包括三层:输入层、隐层和输出层。输入层主要作为输入数据和神经网络输入界面,其本身没有处理功能;隐层和输出层的处理能力包含在各个结点中。输入的结构一般为待分类数据的特征矢量,一般情况下,为训练像元的多光谱矢量,每个结点代表一个光谱波段。当然,输入结点也可以为像元的空间上下文信息(如纹理)等,或多时段的光谱矢量(Paola and Schowengerdt,1995)。
表5-1 各种统计分类器比较
图5-2 多层感知器神经网络结构
对于隐层和输出层的结点来说,其处理过程是一个激励函数(activation function)。假设激励函数为f(S),对隐层结点来说,有:
遥感信息的不确定性研究
其中,pi为隐层结点的输入;hj为隐层结点的输出;w为联接各层神经之间的权重。
对输出层来说,有如下关系:
遥感信息的不确定性研究
其中,hj为输出层的输入;ok为输出层的输出。
激励函数一般表达为:
遥感信息的不确定性研究
确定了网络结构后,就要对网络进行训练,使网络具有根据新的输入数据预测输出结果的能力。最常用的是后向传播训练算法(Back-Propagation)。这一算法将训练数据从输入层进入网络,随机产生各结点连接权重,按式(5-1)(5-2)和(5-3)中的公式进行计算,将网络输出与预期的结果(训练数据的类别)相比较并计算误差。这个误差被后向传播的网络并用于调整结点间的连接权重。调整连接权重的方法一般为delta规则(Rumelhart,et al.,1986):
遥感信息的不确定性研究
其中,η为学习率(learning rate);δk为误差变化率;α为动量参数。
将这样的数据的前向和误差后向传播过程不断迭代,直到网络误差减小到预设的水平,网络训练结束。这时就可以将待分类数据输入神经网络进行分类。
除了多层感知器神经网络模型,其他结构的网络模型也被用于遥感数据分类。例如,Kohonen自组织网络被广泛用于遥感数据的非监督聚类分析(Yoshida et al.,1994;Schaale et al.,1995);自适应共振理论(Adaptive Resonance Theory)网络(Silva,S and Caetano,M.1997)、模糊ART图(Fuzzy ART Maps)(Fischer,M.M and Gopal,S,1997)、径向基函数(骆剑承,1999)等也被用于遥感数据分类。
许多因素影响神经网络的遥感数据分类精度。Foody and Arora(1997)认为神经网络结构、遥感数据的维数以及训练数据的大小是影响神经网络分类的重要因素。
神经网络结构,特别是网络的层数和各层神经元的数量是神经网络设计最关键的问题。网络结构不但影响分类精度,而且对网络训练时间有直接影响(Kavzoglu and Mather,1999)。对用于遥感数据分类的神经网络来说,由于输入层和输出层的神经元数目分别由遥感数据的特征维数和总的类别数决定的,因此网络结构的设计主要解决隐层的数目和隐层的神经元数目。一般过于复杂的网络结构在刻画训练数据方面较好,但分类精度较低,即“过度拟合”现象(over-fit)。而过于简单的网络结构由于不能很好的学习训练数据中的模式,因此分类精度低。
网络结构一般是通过实验的方法来确定。Hirose等(1991)提出了一种方法。该方法从一个小的网络结构开始训练,每次网络训练陷入局部最优时,增加一个隐层神经元,然后再训练,如此反复,直到网络训练收敛。这种方法可能导致网络结构过于复杂。一种解决办法是每当认为网络收敛时,减去最近一次加入的神经元,直到网络不再收敛,那么最后一次收敛的网络被认为是最优结构。这种方法的缺点是非常耗时。“剪枝法”(pruning)是另一种确定神经网络结构的方法。和Hirose等(1991)的方法不同,“剪枝法”从一个很大的网络结构开始,然后逐步去掉认为多余的神经元(Sietsma and Dow,1988)。从一个大的网络开始的优点是,网络学习速度快,对初始条件和学习参数不敏感。“剪枝”过程不断重复,直到网络不再收敛时,最后一次收敛的网络被认为最优(Castellano,Fanelli and Pelillo,1997)。
神经网络训练需要训练数据样本的多少随不同的网络结构、类别的多少等因素变化。但是,基本要求是训练数据能够充分描述代表性的类别。Foody等(1995)认为训练数据的大小对遥感分类精度有显着影响,但和统计分类器相比,神经网络的训练数据可以比较少。
分类变量的数据维对分类精度的影响是遥感数据分类中的普遍问题。许多研究表明,一般类别之间的可分性和最终的分类精度会随着数据维数的增大而增高,达到某一点后,分类精度会随数据维的继续增大而降低(Shahshahani and Landgrebe,1994)。这就是有名的Hughes 现象。一般需要通过特征选择去掉信息相关性高的波段或通过主成分分析方法去掉冗余信息。分类数据的维数对神经网络分类的精度同样有明显影响(Battiti,1994),但Hughes 现象没有传统统计分类器中严重(Foody and Arora,1997)。
Kanellopoulos(1997)通过长期的实践认为一个有效的ANN模型应考虑以下几点:合适的神经网络结构、优化学习算法、输入数据的预处理、避免振荡、采用混合分类方法。其中混合模型包括多种ANN模型的混合、ANN与传统分类器的混合、ANN与知识处理器的混合等。
三、其他分类器
除了上述统计分类器和神经网络分类器,还有多种分类器被用于遥感图像分类。例如模糊分类器,它是针对地面类别变化连续而没有明显边界情况下的一种分类器。它通过模糊推理机制确定像元属于每一个类别的模糊隶属度。一般的模糊分类器有模糊C均值聚类法、监督模糊分类方法(Wang,1990)、混合像元模型(Foody and Cox,1994;Settle and Drake,1993)以及各种人工神经网络方法等(Kanellopoulos et al.,1992;Paola and Schowengerdt,1995)。由于模糊分类的结果是像元属于每个类别的模糊隶属度,因此也称其为“软分类器”,而将传统的分类方法称为“硬分类器”。
另一类是上下文分类器(contextual classifier),它是一种综合考虑图像光谱和空间特征的分类器。一般的光谱分类器只是考虑像元的光谱特征。但是,在遥感图像中,相邻的像元之间一般具有空间自相关性。空间自相关程度强的像元一般更可能属于同一个类别。同时考虑像元的光谱特征和空间特征可以提高图像分类精度,并可以减少分类结果中的“椒盐现象”。当类别之间的光谱空间具有重叠时,这种现象会更明显(Cortijo et al.,1995)。这种“椒盐现象”可以通过分类的后处理滤波消除,也可以通过在分类过程中加入代表像元邻域关系的信息解决。
在分类过程中可以通过不同方式加入上下文信息。一是在分类特征中加入图像纹理信息;另一种是图像分割技术,包括区域增长/合并常用算法(Ketting and Landgrebe,1976)、边缘检测方法、马尔可夫随机场方法。Rignot and Chellappa(1992)用马尔可夫随机场方法进行SAR图像分类,取得了很好的效果,Paul Smits(1997)提出了保持边缘细节的马尔可夫随机场方法,并用于SAR图像的分类;Crawford(1998)将层次分类方法和马尔可夫随机场方法结合进行SAR图像分类,得到了更高的精度;Cortijo(1997)用非参数光谱分类对遥感图像分类,然后用ICM算法对初始分类进行上下文校正。
‘肆’ 常用的数据分析方法有哪些
常见的数据分析方法有哪些?
1.趋势分析
当有大量数据时,我们希望更快,更方便地从数据中查找数据信息,这时我们需要使用图形功能。所谓的图形功能就是用EXCEl或其他绘图工具来绘制图形。
趋势分析通常用于长期跟踪核心指标,例如点击率,GMV和活跃用户数。通常,只制作一个简单的数据趋势图,但并不是分析数据趋势图。它必须像上面一样。数据具有那些趋势变化,无论是周期性的,是否存在拐点以及分析背后的原因,还是内部的或外部的。趋势分析的最佳输出是比率,有环比,同比和固定基数比。例如,2017年4月的GDP比3月增加了多少,这是环比关系,该环比关系反映了近期趋势的变化,但具有季节性影响。为了消除季节性因素的影响,引入了同比数据,例如:2017年4月的GDP与2016年4月相比增长了多少,这是同比数据。更好地理解固定基准比率,即固定某个基准点,例如,以2017年1月的数据为基准点,固定基准比率是2017年5月数据与该数据2017年1月之间的比较。
2.对比分析
水平对比度:水平对比度是与自己进行比较。最常见的数据指标是需要与目标值进行比较,以了解我们是否已完成目标;与上个月相比,要了解我们环比的增长情况。
纵向对比:简单来说,就是与其他对比。我们必须与竞争对手进行比较以了解我们在市场上的份额和地位。
许多人可能会说比较分析听起来很简单。让我举一个例子。有一个电子商务公司的登录页面。昨天的PV是5000。您如何看待此类数据?您不会有任何感觉。如果此签到页面的平均PV为10,000,则意味着昨天有一个主要问题。如果签到页面的平均PV为2000,则昨天有一个跳跃。数据只能通过比较才有意义。
3.象限分析
根据不同的数据,每个比较对象分为4个象限。如果将IQ和EQ划分,则可以将其划分为两个维度和四个象限,每个人都有自己的象限。一般来说,智商保证一个人的下限,情商提高一个人的上限。
说一个象限分析方法的例子,在实际工作中使用过:通常,p2p产品的注册用户由第三方渠道主导。如果您可以根据流量来源的质量和数量划分四个象限,然后选择一个固定的时间点,比较每个渠道的流量成本效果,则该质量可以用作保留的总金额的维度为标准。对于高质量和高数量的通道,继续增加引入高质量和低数量的通道,低质量和低数量的通过,低质量和高数量的尝试策略和要求,例如象限分析可以让我们比较和分析时间以获得非常直观和快速的结果。
4.交叉分析
比较分析包括水平和垂直比较。如果要同时比较水平和垂直方向,则可以使用交叉分析方法。交叉分析方法是从多个维度交叉显示数据,并从多个角度执行组合分析。
分析应用程序数据时,通常分为iOS和Android。
交叉分析的主要功能是从多个维度细分数据并找到最相关的维度,以探究数据更改的原因。
‘伍’ 数据分析方法一般分为哪三种
1、漏斗分析
漏斗分析是指通过数据分析找到有问题的业务环节,并对其优化。
漏斗分析两大作用:其一,漏斗分析可以对各个业务阶段的用户、流量的变化进行监控,及时分析低转化率的环节,找出流失的关键,并不断优化。其二,漏斗分析可以根据不同的人群、渠道,进行差异化的分析,比如新渠道、新客户,分析出最佳的和最差的,这样能够提高操作的准确性和效率。
3、对比分析法
对比分析法即对比数据,分析差别,可以直观地看到某个方面的变化或差距,并能准确量化地表示这些变化或差距。对比分析既可以基于时间进行对比,也可以基于分类,如部门、地区、类别等进行对比。在工作中,我们会使用对比分析法比较多,比如,如上年的销量对比、目标与实际对比等。我们在对比的过程中要注意要找相似的对比对象。比如,佛山的人口与上海的人口对比就没有可比性,是毫无意义的。
‘陆’ 统计学两组数据的比较选用哪种方法
统计学两组数据的比较选用分析方法。
分析两组间的变量关系用——典型相关分析法。
比较两种东西的性能上的一些比较数据可以利用——单因素方差分析。主要看数据是以什么形式表达的,如果是定量的,比如身高,可以用t检验,如果是其他非正态的或方差不齐的,可以使用秩和检验。如果是定性的,比如是否患病,可以用卡方检验。
统计学
是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。统计学用到了大量的数学及其它学科的专业知识,其应用范围几乎覆盖了社会科学和自然科学的各个领域。