多元聚类分析方法有哪些

1. 聚类分析法

聚类分析，亦称群分析或点分析，是研究多要素事物分类问题的数量方法。其基本原理是，根据样本自身的属性，用数学方法按照某些相似性或差异性指标，定量地确定样本之间的亲疏关系，并按亲疏关系的程度对样本进行聚类（徐建华，1994）。

聚类分析方法，应用在地下水中，是在各种指标和质量级别标准约束条件下，通过样品的各项指标监测值综合聚类，以判别地下水质量的级别。常见的聚类分析方法有系统聚类法、模糊聚类法和灰色聚类法等。

（一）系统聚类法

系统聚类法的主要步骤有：数据标准化、相似性统计量计算和聚类。

1.数据标准化

在聚类分析中，聚类要素的选择是十分重要的，它直接影响分类结果的准确性和可靠性。在地下水质量研究中，被聚类的对象常常是多个要素构成的。不同要素的数据差异可能很大，这会对分类结果产生影响。因此当分类要素的对象确定之后，在进行聚类分析之前，首先对聚类要素进行数据标准化处理。

假设把所考虑的水质分析点（G）作为聚类对象（有m个），用i表示（i=1，2，…，m）；把影响水质的主要因素作为聚类指标（有n个），用j表示（j=1，2，…，n），它们所对应的要素数据可用表4-3给出。在聚类分析中，聚类要素的数据标准化的方法较多，一般采用标准差法和极差法。

表4-3 聚类对象与要素数据

对于第j个变量进行标准化，就是将x_ij变换为x′_ij。

（1）总和标准化

区域地下水功能可持续性评价理论与方法研究

这种标准化方法所得的新数据x′_ij满足

区域地下水功能可持续性评价理论与方法研究

（2）标准差标准化

区域地下水功能可持续性评价理论与方法研究

式中：

；

由这种标准化方法所得的新数据x′_ij，各要素的平均值为0，标准差为1，即有

区域地下水功能可持续性评价理论与方法研究

（3）极差标准化

区域地下水功能可持续性评价理论与方法研究

经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在［0，1］闭区间内。

上述式中：x_ij为j变量实测值；x_j为j变量的样本平均值；s_j为样本标准差。

2.相似性统计量

系统聚类法要求给出一个能反映样品间相似程度的一个数字指标，需要找到能量度相似关系的统计量，这是系统聚类法的关键。

相似性统计量一般使用距离系数和相似系数进行计算。距离系数是把样品看成多维空间的点，用点间的距离来表示研究对象的紧密关系，距离越小，表明关系越密切。相似系数值表明样本和变量间的相似程度。

（1）距离系数

常采用欧几里得绝对距离，其中i样品与j样品距离d_ij为

区域地下水功能可持续性评价理论与方法研究

d_ij越小，表示i，j样品越相似。

（2）相似系数

常见的相似系数有夹角余弦和相关系数，计算公式为

1）夹角余弦

区域地下水功能可持续性评价理论与方法研究

在式（4-20）中：-1≤cosθ_ij≤1。

2）相关系数

区域地下水功能可持续性评价理论与方法研究

式中：d_ij为i样品与j样品的欧几里得距离；cosθ_ij为i样品与j样品的相似系数；r_ij为i样品与j样品的相关系数；x_ik为i样品第k个因子的实测值或标准化值；x_jk为j样品第k个因子的实测值或标准化值；

为i样品第k个因子的均值，

；

为j样品第k个因子的均值，

；n为样品的数目；k为因子（变量）数。

3.聚类

在选定相似性统计量之后，根据计算结果构成距离或相似性系数矩阵（n×n），然后通过一定的方法把n个样品组合成不同等级的分类单位，对类进行并类，即将最相似的样品归为一组，然后，把次相似的样品归为分类级别较高的组。聚类主要有直接聚类法、距离聚类法（最短距离聚类法、最远距离聚类法）。

（1）直接聚类法

直接聚类法，是根据距离或相似系数矩阵的结构一次并类得到结果，是一种简便的聚类方法。它首先把各个分类对象单独视为一类，然后根据距离最小或相似系数最大的原则，依次选出一对分类对象，并成新类。如果一对分类对象正好属于已归的两类，则把这两类并为一类。每一次归并，都划去该对象所在的列与列序相同的行。经过n-1次把全部分类对象归为一类，最后根据归并的先后顺序作出聚类分析谱系图。

（2）距离聚类法

距离聚类法包括最短距离聚类法和最远距离聚类法。最短距离聚类法具有空间压缩性，而最远距离聚类法具有空间扩张性。这两种聚类方法关于类之间的距离计算可以用一个统一的公式表示：

区域地下水功能可持续性评价理论与方法研究

当γ=-0.5时，式（4-22）计算类之间的距离最短；当γ=0.5时，式（4-22）计算类之间的距离最远。

最短、最远距离法，是在原来的n×n距离矩阵的非对角元素中找出d_pq=min（d_ij）或d_pq=max（d_ij），把分类对象G_p和G_q归并为一新类G_r，然后按计算公式：

d_pq=min（d_pk，d_qk）（k≠ p，q） （4-23）

d_pq=max（d_pk，d_qk）（k≠ p，q） （4-24）

计算原来各类与新类之间的距离，这样就得到一个新的（n-1）阶的距离矩阵；再从新的距离矩阵中选出最小或最大的d_ij，把G_i和G_j归并成新类；再计算各类与新类的距离，直至各分类对象被归为一类为止。最后综合整个聚类过程，作出最短距离或最远距离聚类谱系图（图4-1）。

图4-1 地下水质量评价的聚类谱系图

（二）模糊聚类法

模糊聚类法是普通聚类方法的一种拓展，它是在聚类方法中引入模糊概念形成的。该方法评价地下水质量的主要步骤，包括数据标准化、标定和聚类3个方面（付雁鹏等，1987）。

1.数据标准化

在进行聚类过程中，由于所研究的各个变量绝对值不一样，所以直接使用原始数据进行计算就会突出绝对值大的变量，而降低绝对值小的变量作用，特别是在进行模糊聚类分析中，模糊运算要求必须将数据压缩在［0，1］之间。因此，模糊聚类计算的首要工作是解决数据标准化问题。数据标准化的方法见系统聚类分析法。

2.标定与聚类

所谓标定就是计算出被分类对象间的相似系数r_ij，从而确定论域集U上的模糊相似关系R_ij。相似系数的求取，与系统聚类分析法相同。

聚类就是在已建立的模糊关系矩阵R_ij上，给出不同的置信水平λ（λ∈［0，1］）进行截取，进而得到不同的分类。

聚类方法较多，主要有基于模糊等价关系基础上的聚类与基于最大树的聚类。

（1）模糊等价关系方法

所谓模糊等价关系，是指具有自反性（r_ii=1）、对称性（r_ij=r_ji）与传递性（R·R⊆R）的模糊关系。

基于模糊等价关系的模糊聚类分析方法的基本思想是：由于模糊等价关系R是论域集U与自己的直积U×U上的一个模糊子集，因此可以对R进行分解，当用λ-水平对R作截集时，截得的U×U的普通子集R_λ就是U上的一个普通等价关系，也就是得到了关于U中被分类对象元素的一种。当λ由1下降到0时，所得的分类由细变粗，逐渐归并，从而形成一个动态聚类谱系图（徐建华，1994）。此类分析方法的具体步骤如下。

第一步：模糊相似关系的建立，即计算各分类对象之间相似性统计量。

第二步：将模糊相似关系R改造为模糊等价关系R′。模糊等价关系要求满足自反性、对称性与传递性。一般而言，模糊相似关系满足自反性和对称性，但不满足传递性。因此，需要采用传递闭合的性质将模糊相似关系改造为模糊等价关系。改造的方法是将相似关系R自乘，即

R²=R·R

R⁴=R²·R²

︙

这样计算下去，直到：R^2k=R^k·R^k=R^k，则R′=R^k便是一个模糊等价关系。

第三步：在不同的截集水平下进行聚类。

（2）最大树聚类方法

基于最大树的模糊聚类分析方法的基本思路是：最大树是一个不包含回路的连通图（图4-2）；选取λ水平对树枝进行截取，砍去权重低于λ 的枝，形成几个孤立的子树，每一棵子树就是一个类的集合。此类分析方法的具体步骤如下。

图4-2 最大聚类支撑树图

第一步：计算分类对象之间的模糊相似性统计量r_ij，构建最大树。

以所有被分类的对象为顶点，当两点间r_ij不等于0时，两点间可以用树干连接，这种连接是按r_ij从大到小的顺序依次进行的，从而构成最大树。

第二步：由最大树进行聚类分析。

选择某一λ值作截集，将树中小于λ值的树干砍断，使相连的结点构成一类，即子树，当λ由1到0时，所得到的分类由细变粗，各结点所代表的分类对象逐渐归并，从而形成一个动态聚类谱系图。

在聚类方法中，模糊聚类法比普通聚类法有较大的突破，简化了运算过程，使聚类法更易于掌握。

（三）灰色聚类法

灰色聚类是根据不同聚类指标所拥有的白化数，按几个灰类将聚类对象进行归纳，以判断该聚类对象属于哪一类。

灰色聚类应用于地下水水质评价中，是把所考虑的水质分析点作为聚类对象，用i表示（i=1，2，…，n）；把影响水质的主要因素作为聚类指标，用j表示（j=1，2，…，m），把水质级别作为聚类灰数（灰类），用k表示（k=1，2，3）即一级、二级、三级3个灰类（罗定贵等，1995）。

灰色聚类的主要步骤：确定聚类白化数、确定各灰色白化函数f_jk、求标定聚类权重η_jk、求聚类系数和按最大原则确定聚类对象分类。

1.确定聚类白化数

当各灰类白化数在数量上相差悬殊时，为保证各指标间的可比性与等效性，必须进行白化数的无量纲化处理。即给出第i个聚类对象中第j个聚类指标所拥有的白化数，i=1，2，…，n；j=1，2，…，m。

2.确定各灰色白化函数

建立满足各指标、级别区间为最大白化函数值（等于1），偏离此区间愈远，白化函数愈小（趋于0）的功效函数f_ij（x）。根据监测值C_ki，可在图上（图4-3）解析出相应的白化函数值f_jk（C_ik），j=1，2，…，m；k=1，2，3。

3.求标定聚类权重

根据式（4-25），计算得出聚类权重η_jk的矩阵（n×m）。

区域地下水功能可持续性评价理论与方法研究

式中：η_jk为第j个指标对第k个灰类的权重；λ_jk为白化函数的阈值（根据标准浓度而定）。

图4-3 白化函数图

注：图4-3白化函数f（x）∈［0，1］，具有下述特点：①平顶部分，表示该量的最佳程度。这部分的值为最佳值，即系数（权）为1，f（x）=max=1（峰值），x∈［x₂，x₃］。②白化函数是单调变化的，左边部分f（x）=L（x），单调增，x∈（x₁，x₂］，称为白化的左支函数；右边部分f（x）=R（x），单调减，x∈［x₃，x₄），称为白化的右支函数。③白化函数左右支函数对称。④白化函数，为了简便，一般是直线。⑤白化函数的起点和终点，一般来说是人为凭经验确定。

4.求聚类系数

σ_ik=∑f_jk（d_ij）η_jk （4-26）

式中：σ_ik为第i个聚类对象属于第k个灰类的系数，i=1，2，…，n；k=1，2，3。

5.按最大原则确定聚类对象分类

由σ_ik构造聚类向量矩阵，行向量最大者，确定k样品属于j级对应的级别。

用灰色聚类方法进行地下水水质评价，能最大限度地避免因人为因素而造成的“失真、失效”现象。

聚类方法计算相对复杂，但是计算结果与地下水质量标准级别对应性明显，能够较全面反映地下水质量状况，也是较高层次定量研究地下水质量的重要方法。

2. 多因素.因素.聚类分析分法层次

摘要 聚类分析法是理想的多变量统计技术，主要有分层聚类法和迭代聚类法。 聚类分析也称群分析、点群分析，是研究分类的一种多元统计方法

3. 聚类算法有哪几种

聚类算法有：聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k均值、k中心点等算法的聚类分析工具已被加入到许多着名的统计分析软件包中，如SPSS、SAS等。

4. 聚类分析法（CA）

3.2.3.1 技术原理

聚类分析又称群分析（CA），它是研究（对样品或指标）分类问题的一种多元统计方法。首先认为所研究的样品或指标（变量）之间存在着程度不同的相似性（亲疏关系），根据一批样品的多个观测指标具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样品（或指标）聚合为一类，把另一些彼此之间相似程度较大的样品（或指标）聚合为另一类，根据分类对象不同，可分为对样品分类的Q型聚类分析和对指标分类的R型聚类分析两种类型。聚类分析可用SPSS软件直接实现，在水质时空变异、水化学类型分区中得到广泛的应用。聚类分析的功能是建立一种分类方法，它将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类，聚类分析的内容十分丰富，按其聚类的方法可分为以下几种：系统聚类法、调优法、最优分割法、模糊聚类法等。

聚类分析根据分类对象的不同又分为R型和Q型两大类，R型是对变量（指标）进行分类，Q型是对样品进行分类。为了对样品（或变量）进行分类，就必须研究它们之间的关系，描述样品间亲疏相似程度的统计量很多，目前用得最多的是距离和相似系数。距离方法主要有：闵科夫斯基（Minkowski）距离、绝对值距离、欧氏距离等。

样品间的亲疏程度除了用距离描述外，也可用相似系数来表示，相似系数的构造主要有以下两种方法：对于定量变量，我们通常采用的相似系数有x_i和x_j之间的夹角余弦和相关系数。

3.2.3.2 方法流程

目前使用最多的聚类方法是系统聚类法，其基本思想是：先将n个样品各自看成一类，共有n个类，然后计算类与类间的距离，选择距离最小的两类合并成一个新类，使总类数减少为n-1，接着再计算这n-1类两两间的距离，从中找出距离最近的两类合并，总类数又减少一个，剩下n-2个类，照此下去，每合并一次，减少一类，直至所有样品都合并成一类为止。在并类的过程当中，可以根据聚类的先后以及并类时两类间的距离，画出能直观反映各样品间相近和疏远程度的聚类图（也称谱系图），根据这张聚类图有可能找到最合适的分类方案。系统聚类法的聚类原则决定于样品间的距离（或相似系数）及类间距离的定义，类间距离的不同定义就产生了不同的系统聚类分析方法，类间距离的定义方法主要有最短距离法、最长距离法、中间距离法、重心法、类平均法。在合理地选定（或定义）样品间的距离以后，再适当定义类间的距离，就确定了一种聚类规则，之后按照系统聚类法的一般步骤加以聚类（图3.4）。

图3.4 聚类分析技术流程图

3.2.3.3 适用范围

聚类分析能够将变量及样本按照相应的规则进行分类，在大样本多参数数据降维方面具有相对的优势，尤其是对于在时间、空间上具有复杂变化的数据，聚类分析能够根据变量和样本的相关性和相似性，将数据有效地划分为不同的类别，并通过树状图反映出样品随距离或变量间相似性变化的情况，为查清变量和样品之间关系提供了依据，也为查明污染来源奠定了基础。

5. 聚类算法有哪几种

聚类分析计算方法主要有： 层次的方法(hierarchical method)、划分方法(partitioning method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)、基于模型的方法(model-based method)等。其中，前两种算法是利用统计学定义的距离进行度量。

k-means 算法的工作过程说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心;而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然 后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。

其流程如下：

(1)从 n个数据对象任意选择 k 个对象作为初始聚类中心;

(2)根据每个聚类对象的均值(中心对象)，计算每个对象与这些中心对象的距离;并根据最小距离重新对相应对象进行划分;

(3)重新计算每个(有变化)聚类的均值(中心对象);

(4)循环(2)、(3)直到每个聚类不再发生变化为止(标准测量函数收敛)。

优点： 本算法确定的K个划分到达平方误差最小。当聚类是密集的，且类与类之间区别明显时，效果较好。对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度为 O(NKt)，其中N是数据对象的数目，t是迭代的次数。

缺点：

1. K 是事先给定的，但非常难以选定;

2. 初始聚类中心的选择对聚类结果有较大的影响。

6. 什么是聚类分析聚类算法有哪几种

聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于

分类学，在古老的分类学中，人们主要依靠经验和专业知识来实现分类，很少利用数学工具进行

定量的分类。随着人类科学技术的发展，对分类的要求越来越高，以致有时仅凭经验和专业知识

难以确切地进行分类，于是人们逐渐地把数学工具引用到了分类学中，形成了数值分类学，之后又

将多元分析的技术引入到数值分类学形成了聚类分析。

聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论

聚类法、聚类预报法等。

聚类分析计算方法主要有如下几种：分裂法(partitioning methods)：层次法(hierarchical

methods)：基于密度的方法(density-based methods): 基于网格的方法(grid-based

methods): 基于模型的方法(model-based methods)。

7. 多元统计分析法主要包括

多元统计分析方法主要包括线性回归分析方法、判别分析方法、聚类分析方法、主成份分析方法、因子分析方法、对应分析方法、典型相关分析方法以及片最小二乘回归分析方法等。

《多元统计分析方法》是2009年上海格致出版社出版的图书，作者是（德）巴克豪斯。本书主要讲解了多元统计分析中最常见的九种方法。

简介

多元统计分析是从经典统计学中发展起来的一个分支，是一种综合分析方法，它能够在多个对象和多个指标互相关联的情况下分析它们的统计规律，很适合农业科学研究的特点。主要内容包括多元正态分布及其抽样分布、多元正态总体的均值向量和协方差阵的假设检验。

多元方差分析、直线回归与相关、多元线性回归与相关(Ⅰ)和(Ⅱ)、主成分分析与因子分析、判别分析与聚类分析、Shannon信息量及其应用。简称多元分析。当总体的分布是多维（多元）概率分布时，处理该总体的数理统计理论和方法。数理统计学中的一个重要的分支学科。

8. 常用的聚类方法有哪几种

聚类分析的算法可以分为划分法、层次法、基于密度的方法、基于网格的方法、基于模型的方法。

1、划分法，给定一个有N个元组或者纪录的数据集，分裂法将构造K个分组，每一个分组就代表一个聚类，K<N。

2、层次法，这种方法对给定的数据集进行层次似的分解，直到某种条件满足为止。

3、基于密度的方法，基于密度的方法与其它方法的一个根本区别是：它不是基于各种各样的距离的，而是基于密度的。这样就能克服基于距离的算法只能发现“类圆形”的聚类的缺点。

4、图论聚类方法解决的第一步是建立与问题相适应的图，图的节点对应于被分析数据的最小单元，图的边（或弧）对应于最小处理单元数据之间的相似性度量。

5、基于网格的方法，这种方法首先将数据空间划分成为有限个单元的网格结构,所有的处理都是以单个的单元为对象的。

6、基于模型的方法，基于模型的方法给每一个聚类假定一个模型，然后去寻找能够很好的满足这个模型的数据集。

(8)多元聚类分析方法有哪些扩展阅读：

在商业上，聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来，并且概括出每一类消费者的消费模式或者说习惯。

它作为数据挖掘中的一个模块，可以作为一个单独的工具以发现数据库中分布的一些深层的信息，并且概括出每一类的特点，或者把注意力放在某一个特定的类上以作进一步的分析；并且，聚类分析也可以作为数据挖掘算法中其他分析算法的一个预处理步骤。

许多聚类算法在小于 200 个数据对象的小数据集合上工作得很好；但是，一个大规模数据库可能包含几百万个对象，在这样的大数据集合样本上进行聚类可能会导致有偏的结果。

许多聚类算法在聚类分析中要求用户输入一定的参数，例如希望产生的簇的数目。聚类结果对于输入参数十分敏感。参数通常很难确定，特别是对于包含高维对象的数据集来说。这样不仅加重了用户的负担，也使得聚类的质量难以控制。

9. 聚类算法有哪些

聚类算法有：划分法、层次法、密度算法、图论聚类法、网格算法、模型算法。

1、划分法

划分法(partitioning methods)，给定一个有N个元组或者纪录的数据集，分裂法将构造K个分组，每一个分组就代表一个聚类，K<N。使用这个基本思想的算法有：K-MEANS算法、K-MEDOIDS算法、CLARANS算法。

2、层次法

层次法(hierarchical methods)，这种方法对给定的数据集进行层次似的分解，直到某种条件满足为止。具体又可分为“自底向上”和“自顶向下”两种方案。代表算法有：BIRCH算法、CURE算法、CHAMELEON算法等。

3、密度算法

基于密度的方法(density-based methods)，基于密度的方法与其它方法的一个根本区别是：它不是基于各种各样的距离的，而是基于密度的。这样就能克服基于距离的算法只能发现“类圆形”的聚类的缺点。代表算法有：DBSCAN算法、OPTICS算法、DENCLUE算法等。

4、图论聚类法

图论聚类方法解决的第一步是建立与问题相适应的图，图的节点对应于被分析数据的最小单元，图的边（或弧）对应于最小处理单元数据之间的相似性度量。因此，每一个最小处理单元数据之间都会有一个度量表达，这就确保了数据的局部特性比较易于处理。图论聚类法是以样本数据的局域连接特征作为聚类的主要信息源，因而其主要优点是易于处理局部数据的特性。

5、网格算法

基于网格的方法(grid-based methods)，这种方法首先将数据空间划分成为有限个单元（cell）的网格结构,所有的处理都是以单个的单元为对象的。代表算法有：STING算法、CLIQUE算法、WAVE-CLUSTER算法。

6、模型算法

基于模型的方法(model-based methods)，基于模型的方法给每一个聚类假定一个模型，然后去寻找能够很好的满足这个模型的数据集。通常有两种尝试方向：统计的方案和神经网络的方案。

(9)多元聚类分析方法有哪些扩展阅读：

聚类分析起源于分类学，在古老的分类学中，人们主要依靠经验和专业知识来实现分类，很少利用数学工具进行定量的分类。随着人类科学技术的发展，对分类的要求越来越高，以致有时仅凭经验和专业知识难以确切地进行分类，于是人们逐渐地把数学工具引用到了分类学中，形成了数值分类学，之后又将多元分析的技术引入到数值分类学形成了聚类分析。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

在商业上，聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来，并且概括出每一类消费者的消费模式或者说习惯。它作为数据挖掘中的一个模块，可以作为一个单独的工具以发现数据库中分布的一些深层的信息，并且概括出每一类的特点，或者把注意力放在某一个特定的类上以作进一步的分析；并且，聚类分析也可以作为数据挖掘算法中其他分析算法的一个预处理步骤。

10. 多元分析的分析方法

包括3类:①多元方差分析、多元回归分析和协方差分析，称为线性模型方法，用以研究确定的自变量与因变量之间的关系；②判别函数分析和聚类分析,用以研究对事物的分类；③主成分分析、典型相关和因素分析，研究如何用较少的综合因素代替为数较多的原始变量。 是把总变异按照其来源（或实验设计）分为多个部分，从而检验各个因素对因变量的影响以及各因素间交互作用的统计方法。例如，在分析2×2析因设计资料时，总变异可分为分属两个因素的两个组间变异、两因素间的交互作用及误差（即组内变异）等四部分,然后对组间变异和交互作用的显着性进行F检验。
优点
是可以在一次研究中同时检验具有多个水平的多个因素各自对因变量的影响以及各因素间的交互作用。其应用的限制条件是，各个因素每一水平的样本必须是独立的随机样本，其重复观测的数据服从正态分布，且各总体方差相等。 用以评估和分析一个因变量与多个自变量之间线性函数关系的统计方法。一个因变量y与自变量x1、x2、…xm有线性回归关系是指：
其中α、β1…βm是待估参数，ε是表示误差的随机变量。通过实验可获得x1、x2…xm的若干组数据以及对应的y值，利用这些数据和最小二乘法就能对方程中的参数作出估计，记为╋、勮…叧，它们称为偏回归系数。
优点
是可以定量地描述某一现象和某些因素间的线性函数关系。将各变量的已知值代入回归方程便可求得因变量的估计值（预测值），从而可以有效地预测某种现象的发生和发展。它既可以用于连续变量，也可用于二分变量（0，1回归）。多元回归的应用有严格的限制。首先要用方差分析法检验因变量y与m个自变量之间的线性回归关系有无显着性，其次，如果y与m个自变量总的来说有线性关系，也并不意味着所有自变量都与因变量有线性关系，还需对每个自变量的偏回归系数进行t检验,以剔除在方程中不起作用的自变量。也可以用逐步回归的方法建立回归方程，逐步选取自变量，从而保证引入方程的自变量都是重要的。 把线性回归与方差分析结合起来检验多个修正均数间有无差别的统计方法。例如，一个实验包含两个多元自变量，一个是离散变量(具有多个水平)，一个是连续变量，实验目的是分析离散变量的各个水平的优劣，此变量是方差变量；而连续变量是由于无法加以控制而进入实验的，称为协变量。在运用协方差分析时，可先求出该连续变量与因变量的线性回归函数，然后根据这个函数扣除该变量的影响，即求出该连续变量取等值情况时因变量的修正均数，最后用方差分析检验各修正均数间的差异显着性，即检验离散变量对因变量的影响。
优点
可以在考虑连续变量影响的条件下检验离散变量对因变量的影响，有助于排除非实验因素的干扰作用。其限制条件是，理论上要求各组资料（样本）都来自方差相同的正态总体,各组的总体直线回归系数相等且都不为0。因此应用协方差分析前应先进行方差齐性检验和回归系数的假设检验，若符合或经变换后符合上述条件，方可作协方差分析。 判定个体所属类别的统计方法。其基本原理是：根据两个或多个已知类别的样本观测资料确定一个或几个线性判别函数和判别指标，然后用该判别函数依据判别指标来判定另一个个体属于哪一类。
判别分析不仅用于连续变量，而且借助于数量化理论亦可用于定性资料。它有助于客观地确定归类标准。然而，判别分析仅可用于类别已确定的情况。当类别本身未定时，预用聚类分析先分出类别，然后再进行判别分析。 解决分类问题的一种统计方法。若给定n个观测对象，每个观察对象有p个特征（变量），如何将它们聚成若干可定义的类?若对观测对象进行聚类,称为Q型分析;若对变量进行聚类,称为R型分析。聚类的基本原则是,使同类的内部差别较小,而类别间的差别较大。最常用的聚类方案有两种。一种是系统聚类方法。例如，要将n个对象分为k类,先将n个对象各自分成一类,共n类。然后计算两两之间的某种“距离”，找出距离最近的两个类、合并为一个新类。然后逐步重复这一过程，直到并为k类为止。另一种为逐步聚类或称动态聚类方法。当样本数很大时，先将n个样本大致分为k类，然后按照某种最优原则逐步修改，直到分类比较合理为止。
聚类分析是依据个体或变量的数量关系来分类，客观性较强，但各种聚类方法都只能在某种条件下达到局部最优,聚类的最终结果是否成立,尚需专家的鉴定。必要时可以比较几种不同的方法，选择一种比较符合专业要求的分类结果。 把原来多个指标化为少数几个互不相关的综合指标的一种统计方法。例如,用p个指标观测样本,如何从这p个指标的数据出发分析样本或总体的主要性质呢？如果p个指标互不相关，则可把问题化为p个单指标来处理。但大多时候p个指标之间存在着相关。此时可运用主成分分析寻求这些指标的互不相关的线性函数，使原有的多个指标的变化能由这些线性函数的变化来解释。这些线性函数称为原有指标的主成分，或称主分量。
主成分分析有助于分辨出影响因变量的主要因素，也可应用于其他多元分析方法，例如在分辨出主成分之后再对这些主成分进行回归分析、判别分析和典型相关分析。主成分分析还可以作为因素分析的第一步，向前推进就是因素分析。其缺点是只涉及一组变量之间的相互依赖关系，若要讨论两组变量之间的相互关系则须运用典型相关。 先将较多变量转化为少数几个典型变量，再通过其间的典型相关系数来综合描述两组多元随机变量之间关系的统计方法。设x是p元随机变量,y是q元随机变量，如何描述它们之间的相关程度?当然可逐一计算x的p个分量和y的q个分量之间的相关系数(p×q个)， 但这样既繁琐又不能反映事物的本质。如果运用典型相关分析，其基本程序是，从两组变量各自的线性函数中各抽取一个组成一对，它们应是相关系数达到最大值的一对，称为第1对典型变量,类似地还可以求出第2对、第3对、……,这些成对变量之间互不相关,各对典型变量的相关系数称为典型相关系数。所得到的典型相关系数的数目不超过原两组变量中任何一组变量的数目。
典型相关分析有助于综合地描述两组变量之间的典型的相关关系。其条件是,两组变量都是连续变量,其资料都必须服从多元正态分布。
以上几种多元分析方法各有优点和局限性。每一种方法都有它特定的假设、条件和数据要求，例如正态性、线性和同方差等。因此在应用多元分析方法时，应在研究计划阶段确定理论框架，以决定收集何种数据、怎样收集和如何分析数据资料。