数据预处理与标准化简单自学方法

❶ 数据标准化的方法

在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。
一、Min-max 标准化
min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值，将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x'，其公式为：
新数据=（原数据-极小值）/（极大值-极小值）
二、z-score 标准化
这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到x'。
z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。
新数据=（原数据-均值）/标准差
spss默认的标准化方法就是z-score标准化。
用Excel进行z-score标准化的方法：在Excel中没有现成的函数，需要自己分步计算，其实标准化的公式很简单。步骤如下：1.求出各变量（指标）的算术平均值（数学期望）xi和标准差si ；2.进行标准化处理：zij=（xij－xi）/si其中：zij为标准化后的变量值；xij为实际变量值。3.将逆指标前的正负号对调。标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。
三、Decimal scaling小数定标标准化
这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x使用decimal scaling标准化到x'的计算方法是：
x'=x/(10^j)
其中，j是满足条件的最小整数。
例如 假定A的值由-986到917，A的最大绝对值为986，为使用小数定标标准化，我们用1000（即，j=3）除以每个值，这样，-986被规范化为-0.986。
注意，标准化会对原始数据做出改变，因此需要保存所使用的标准化方法的参数，以便对后续的数据进行统一的标准化。
除了上面提到的数据标准化外还有对数Logistic模式、模糊量化模式等等：
对数Logistic模式：新数据=1/（1+e^(-原数据)）
模糊量化模式：新数据=1/2+1/2sin[派3.1415/（极大值-极小值）*（X-（极大值-极小值）/2） ] X为原数据

❷ 数据标准化有几种方法

方法一：规范化方法

也叫离差标准化，是对原始数据的线性变换，使结果映射到[0,1]区间。

方法二：正规化方法

这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到x’。
z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。
spss默认的标准化方法就是z-score标准化。
用Excel进行z-score标准化的方法：在Excel中没有现成的函数，需要自己分步计算，其实标准化的公式很简单。

步骤如下：
1.求出各变量（指标）的算术平均值（数学期望）xi和标准差si ；
2.进行标准化处理：
zij=（xij－xi）/si
其中：zij为标准化后的变量值；xij为实际变量值。
3.将逆指标前的正负号对调。
标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。

❸ 数据预处理的原则

数据的预处理是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理；主要方法有数据清理，数据集成，数据变换，数据归约等。
数据清理；数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。数据集成；数据集成例程将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换；通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。数据归约；数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。

❹ 数据基础与标准化研究

14.1.1 数据基础

主要数据源包括：各种标准、1∶25万数字地图、TM影像数据、各遥感课题的成果数据与报告。为了系统能进行图文互查、空间综合分析和制作三维立体数字旅游图，本课题又新作了南岳地区1∶5万和岳麓山1∶1万数字地图、DEM模型，新建了18个属性数据库。

系统集成了01～10课题以光盘提交的所有数据和本课题新增的数据，经过扫描、矢量化、除错、补充、加工、投影变换、格式转换、地理配准、重建拓扑、建表入库等数据预处理后，形成可统一管理的数据成果。所有数据可归纳为下述六种数据类型：①矢量数据；②可地理配准的栅格数据；③普通栅格数据；④二维关系表记录数据；⑤文本文件；⑥多媒体数据。

14.1.2 数据标准

（一）数据交换标准

遵循国家和行业的有关现行标准和在研标准设计湖南省国土资源遥感综合调查信息系统的数据交换标准，从而保证各遥感子课题的解译能与本课题的信息系统建设协同工作，解译成果数据可以资源共享，并顺利地集成到以GIS（地理信息系统）作为RS（遥感）信息最佳集成开发平台的信息系统中，达到了最终建立RS与GIS一体化信息系统的目的。

本系统最终采用的是我国国家标准规定的北京坐标系、黄海高程系；地图投影为高斯-克吕格投影，其中，中央经线为111°00′00″（E）。

本系统最终采用的数据格式：①矢量：Coverage格式（E00格式用于备份数据）；②可地理配准的栅格数据：IMG或SID格式（压缩格式）、DEM（DEM模型专用）格式；③普通栅格数据：BMP、TIF、JPG格式；④二维关系表数据：SQL Server数据库格式；⑤文本文件：DOC（Word）格式。

（二）数据编码规范

湖南省1∶25万和1∶50万基础地理数据库（即数字地形图）采用GB/T13923-92《国土基础信息数据分类与代码》。主要有信息分类编码、行政区代码、火车站代码等，其它所有数据均按本课题制定的编码方案编码。除以上基础数据外，本系统其它课题数据采用将国标6位编码扩充到7位的办法。

14.1.3 数据处理

（一）数字地图处理（处理流程见图14-2）

对照最新版的地图对湖南省1∶25万数字地形图进行必要的修编。

（二）遥感影像

对全省TM影像数据采用不抽点、全波段的方式进行校正、镶嵌，然后按地区和1∶25万标准分幅切割。

（三）各课题数据处理

（1）图件数字化：不需要数字化的图件直接入库（图像目录、图像索引表）。对比较简单、计算机容易自动识别的图件采用两种方法，即扫描成象或屏幕矢量化方法，形成矢量数据。

（2）比较复杂的图件直接用数字化仪进行矢量化。

（3）矢量数据转换：将数字化结果（DXF格式）转化成Arc/INFO的Coverage数据。

（4）合并数据层：将适当的几层合并成一层，以便以后查询。

（5）拼接：把零散的（图形）数据拼接成一全省大图。

图14-2 数据处理流程

（6）校正、配准：对照电子地图，校正（配准）各种（图形）数据。

（7）编码入库：参照数据结构定义确定具体对象的具体属性，对（图形、文字）数据进行统一编码，并入库。

（8）文字说明资料入库：以文件目录和文件索引表的方式，把不能编码的文字资料入库。

（9）分幅（区）：对（图形、文字）数据按标准分幅（区）进行分幅（区）切割。

❺ 数据预处理的主要方法有哪些

1.墓于粗糙集( Rough Set)理论的约简方法
粗糙集理论是一种研究不精确、不确定性知识的数学工具。目前受到了KDD的广泛重视，利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。我们所处理的数据一般存在信息的含糊性(Vagueness)问题。含糊性有三种:术语的模糊性，如高矮;数据的不确定性，如噪声引起的;知识自身的不确定性，如规则的前后件间的依赖关系并不是完全可靠的。在KDD中，对不确定数据和噪声干扰的处理是粗糙集方法的
2.基于概念树的数据浓缩方法
在数据库中，许多属性都是可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树。概念树一般由领域专家提供，它将各个层次的概念按一般到特殊的顺序排列。
3.信息论思想和普化知识发现
特征知识和分类知识是普化知识的两种主要形式，其算法基本上可以分为两类:数据立方方法和面向属性归纳方法。
普通的基于面向属性归纳方法在归纳属性的选择上有一定的盲目性，在归纳过程中，当供选择的可归纳属性有多个时，通常是随机选取一个进行归纳。事实上，不同的属性归纳次序获得的结果知识可能是不同的，根据信息论最大墒的概念，应该选用一个信息丢失最小的归纳次序。
4.基于统计分析的属性选取方法
我们可以采用统计分析中的一些算法来进行特征属性的选取，比如主成分分析、逐步回归分析、公共因素模型分析等。这些方法的共同特征是，用少量的特征元组去描述高维的原始知识基。
5.遗传算法〔GA, Genetic Algo}thrn})
遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。遗传算法的基本思想是:将问题的可能解按某种形式进行编码，形成染色体。随机选取N个染色体构成初始种群。再根据预定的评价函数对每个染色体计算适应值。选择适应值高的染色体进行复制，通过遗传运算(选择、交叉、变异)来产生一群新的更适应环境的染色体，形成新的种群。这样一代一代不断繁殖进化，最后收敛到一个最适合环境的个体上，从而求得问题的最优解。遗传算法应用的关键是适应度函数的建立和染色体的描述。在实际应用中，通常将它和神经网络方法综合使用。通过遗传算法来搜寻出更重要的变量组合。

❻ 数据预处理的流程是什么

数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。
去除唯一属性
唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这些属性即可。

处理缺失值
缺失值处理的三种方法：直接使用含有缺失值的特征；删除含有缺失值的特征（该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量有效值时是有效的）；缺失值补全。

常见的缺失值补全方法：均值插补、同类均值插补、建模预测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。

（1）均值插补

如果样本属性的距离是可度量的，则使用该属性有效值的平均值来插补缺失的值；

如果的距离是不可度量的，则使用该属性有效值的众数来插补缺失的值。如果使用众数插补，出现数据倾斜会造成什么影响？

（2）同类均值插补

首先将样本进行分类，然后以该类中样本的均值来插补缺失值。

（3）建模预测

将缺失的属性作为预测目标来预测，将数据集按照是否含有特定属性的缺失值分为两类，利用现有的机器学习算法对待预测数据集的缺失值进行预测。

该方法的根本的缺陷是如果其他属性和缺失属性无关，则预测的结果毫无意义；但是若预测结果相当准确，则说明这个缺失属性是没必要纳入数据集中的；一般的情况是介于两者之间。

（4）高维映射

将属性映射到高维空间，采用独热码编码（one-hot）技术。将包含K个离散取值范围的属性值扩展为K+1个属性值，若该属性值缺失，则扩展后的第K+1个属性值置为1。

这种做法是最精确的做法，保留了所有的信息，也未添加任何额外信息，若预处理时把所有的变量都这样处理，会大大增加数据的维度。这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值；缺点是计算量大大提升，且只有在样本量非常大的时候效果才好。
（5）多重插补（MultipleImputation，MI）

多重插补认为待插补的值是随机的，实践上通常是估计出待插补的值，再加上不同的噪声，形成多组可选插补值，根据某种选择依据，选取最合适的插补值。

（6）压缩感知和矩阵补全

（7）手动插补

插补处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实。在许多情况下，根据对所在领域的理解，手动对缺失值进行插补的效果会更好。

❼ 常见的数据标准化方法和其公式以及优缺点

一、直线型无量纲化方法：又包括阀值法、指数法、标准化方法、比重法。二、折线型无量纲化方法：凸折线型法、凹折线型法、三折线型法。三、曲线型无量纲化方法 。目前常见的无量纲化处理方法主要有极值化、标准化、均值化以及标准差化方法,而最常使用的是标准化方法。但标准化方法处理后的各指标均值都为0,标准差都为1,它只反映了各指标之间的相互影响,在无量纲化的同时也抹杀了各指标之间变异程度上的差异,因此,标准化方法并不适用于多指标的综合评价中。而经过均值化方法处理的各指标数据构成的协方差矩阵既可以反映原始数据中各指标变异程度上的差异,也包含各指标相互影响程度差异的信息。四、数据标准化的方法： 1、对变量的离差标准化离差标准化是将某变量中的观察值减去该变量的最小值，然后除以该变量的极差。即 x’ik＝[xik －Min (xk)]／Rk 经过离差标准化后，各种变量的观察值的数值范围都将在〔0，1〕之间，并且经标准化的数据都是没有单位的纯数量。离差标准化是消除量纲（单位）影响和变异大小因素的影响的最简单的方法。 有一些关系系数（例如绝对值指数尺度）在定义时就已经要求对数据进行离差标准化，但有些关系系数的计算公式却没有这样要求，当选用这类关系系数前，不妨先对数据进行标准化，看看分析的结果是否为有意义的变化。 2，对变量的标准差标准化标准差标准化是将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即 x’ik ＝ (xik － )／sk 经过标准差标准化后，各变量将有约一半观察值的数值小于0，另一半观察值的数值大于0，变量的平均数为0，标准差为1。经标准化的数据都是没有单位的纯数量。对变量进行的标准差标准化可以消除量纲（单位）影响和变量自身变异的影响。但有人认为经过这种标准化后，原来数值较大的的观察值对分类结果的影响仍然占明显的优势，应该进一步消除大小因子的影响。尽管如此，它还是当前用得最多的数据标准化方法。 3，先对事例进行标准差标准化，再对变量进行标准差标准化第一步，先对事例进行标准差标准化，即将某事例中的观察值减去该事例的平均数，然后除以该事例的标准差。即 x’ik ＝ (xik － )／si 第二步，再对变量进行标准差标准化，即将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即 x’’ik ＝ (x’ik － ’k)／s’k 使用这种标准化的目的也在于消除性状间的量纲（单位）影响和变异大小因子的影响，使性状间具有可比性。 4，先对变量、后对事例、再对变量的标准差标准化这种标准化的目的也在于消除性状间的量纲（单位）影响和变异大小因子的影响，使性状间具有可比性。具体做法是：第一步，先对变量进行标准差标准化，即将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即 x’ik ＝ (xik － )／sk 第二步，后对事例进行标准差标准化，即将某事例中的观察值减去该事例的平均数，然后除以该事例的标准差。即 x’’ik ＝ (x’ik － ’i)／s’i 第三步，再对变量进行标准差标准化，即将某变量中的观察值减去该变量的平均数，然后除以该变量的标准差。即 x’’’ik ＝ (x’’ik － ’’k)／s’’k 进行了前两步之后，还要进行第三步的原因，主要是为了计算的方便。

❽ 如何对数据进行标准化处理

建议使用SPSS软件，具体方法如下：

1.打开spss软件，然后将界面切换到变量视图。在编辑列中创建观察指标和类型。图中示例创建两个指标，一个作为自变量，另一个作为因变量，分别是gdd和城市化水平，代表人均gdp和城市化水平。

❾ 简要阐述数据预处理原理

数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
中文名
数据预处理
外文名
data preprocessing
定义
主要的处理以前对数据进行处理
方法
数据清理，数据集成，数据变换等
目标
格式标准化，异常数据清除
快速
导航
预处理内容

方法
基本介绍
现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。
数据的预处理是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。[1]
预处理内容
数据审核
从不同渠道取得的统计数据，在审核的内容和方法上有所不同。[1]
对于原始数据应主要从完整性和准确性两个方面去审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全。准确性审核主要是包括两个方面：一是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际；二是检查数据是否有错误，计算是否正确等。审核数据准确性的方法主要有逻辑检查和计算检查。逻辑检查主要是审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象，此方法主要适合对定性（品质）数据的审核。计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误，主要用于对定量（数值型）数据的审核。[1]
对于通过其他渠道取得的二手资料，除了对其完整性和准确性进行审核外，还应该着重审核数据的适用性和时效性。二手资料可以来自多种渠道，有些数据可能是为特定目的通过专门调查而获得的，或者是已经按照特定目的需要做了加工处理。对于使用者来说，首先应该弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些资料是否符合自己分析研究的需要，是否需要重新加工整理等，不能盲目生搬硬套。此外，还要对数据的时效性进行审核，对于有些时效性较强的问题，如果取得的数据过于滞后，可能失去了研究的意义。一般来说，应尽可能使用最新的统计数据。数据经审核后，确认适合于实际需要，才有必要做进一步的加工整理。[1]
数据审核的内容主要包括以下四个方面：
1.准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。[2]
2.适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。[2]
3.及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。[2]
4.一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。[2]
数据筛选
对审核过程中发现的错误应尽可能予以纠正。调查结束后，当数据发现的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，就需要对数据进行筛选。数据筛选包括两方面的内容：一是将某些不符合要求的数据或有明显错误地数据予以剔除；二是将符合某种特定条件的数据筛选出来，对不符合特定条件的数据予以剔除。数据的筛选在市场调查、经济分析、管理决策中是十分重要的。

❿ 数据预处理之数据归一化

数据预处理之数据归一化
一、简单缩放
分为：最大值缩放和均值缩放
在简单缩放中，我们的目的是通过对数据的每一个维度的值进行重新调节（这些维度可能是相互独立的），使得最终的数据向量落在[0,1]或[? 1,1]的区间内（根据数据情况而定）。
例子:在处理自然图像时，我们获得的像素值在[0,255]区间中，常用的处理是将这些像素值除以255，使它们缩放到[0,1]中。
二、逐样本均值消减(也称为移除直流分量)
如果你的数据是平稳的（即数据每一个维度的统计都服从相同分布），那么你可以考虑在每个样本上减去数据的统计平均值(逐样本计算)。
例子：对于图像，这种归一化可以移除图像的平均亮度值(intensity)。很多情况下我们对图像的照度并不感兴趣，而更多地关注其内容，这时对每个数据点移除像素的均值是有意义的。
注意：虽然该方法广泛地应用于图像，但在处理彩色图像时需要格外小心，具体来说，是因为不同色彩通道中的像素并不都存在平稳特性。
例如
Caffe demo 里头的 classification_demo.m脚本文件中对原始数据有这样的处理
im_data = im_data - mean_data;
三、特征标准化(使数据集中所有特征都具有零均值和单位方差)
特征标准化的具体做法是：首先计算每一个维度上数据的均值（使用全体数据计算），之后在每一个维度上都减
去该均值。下一步便是在数据的每一维度上除以该维度上数据的标准差。
简单的说就是：减去原始数据的均值再除以原始数据的标准差
例子
x= [ones(m, 1), x];
%x包括2个特征值和1个偏置项，所以矩阵x的规模是 x:[mX3]
sigma= std(x);%X的标准差；mu= mean(x);%X的均值；x(:,2)= (x(:,2) - mu(2))./ sigma(2);x(:,3)= (x(:,3) - mu(3))./ sigma(3);