常见多元分析的方法

1. 2 应用多元统计分析主要包括哪些分析方法

控制图，用来对过程状态进行监控，并可度量、诊断和改进过程状态。
直方图，是以一组无间隔的直条图表现频数分布特征的统计图，能够直观地显示出数据的分布情况。
排列图，又叫帕累托图，它是将各个项目产生的影响从最主要到最次要的顺序进行排列的一种工具。可用其区分影响产品质量的主要、次要、一般问题，找出影响产品质量的主要因素，识别进行质量改进的机会。
散布图，以点的分布反映变量之间相关情况，是用来发现和显示两组数据之间相关关系的类型和程度，或确认其预期关系的一种示图工具。
过程能力指数（Cpk），分析工序能力满足质量标准、工艺规范的程度。
频数分析，形成观测量中变量不同水平的分布情况表。
描述统计量分析，如平均值、最大值、最小值、范围、方差等，了解过程的一些总体特征。
相关分析，研究变量之间关系的密切程度，并且假设变量都是随机变动的，不分主次，处于同等地位。
回归分析，分析变量之间的相互关系。
当然，在质量管理中，还有很多常用的统计分析方法，在此不一一列举。
（盈飞无限）

2. 多元统计分析概述

后期会把每一章的学习笔记链接加上

多元统计分析 是研究多个随机变量之间相互依赖关系及其内在统计规律的一门学科

在统计学的基本内容汇总，只考虑一个或几个因素对一个观测指标（变量）的影响大小的问题，称为 一元统计分析 。

若考虑一个或几个因素对两个或两个以上观测指标（变量）的影响大小的问题，或者多个观测指标（变量）的相互依赖关系，既称为 多元统计分析 。

有两大类，包括：

将数据归类，找出他们之间的联系和内在规律。

构造分类模型一般采用 聚类分析 和 判别分析 技术

在众多因素中找出各个变量中最佳的子集合，根据子集合所包含的信心描述多元系统的结果及各个因子对系统的影响，舍弃次要因素，以简化系统结构，认识系统的内核（有点做单细胞降维的意思）

可采用 主成分分析 、 因子分析 、 对应分析 等方法。

多元统计分析的内容主要有: 多元数据图示法 、 多元线性相关 与 回归分析 、 判别分析 、 聚类分析 、 主成分分析 、 因子分析 、 对应分析 及 典型相关分析 等。

多元数据是指具有多个变量的数据。如果将每个变量看作一个随机向量的话，多个变量形成的数据集将是一个随机矩阵，所以多元数据的基本表现形式是一个矩阵。对这些数据矩阵进行数学表示是我们的首要任务。也就是说，多元数据的基本运算是矩阵运算，而R语言是一个优秀的矩阵运算语言，这也是我们应用它的一大优势。

直观分析即图示法，是进行数据分析的重要辅助手段。例如，通过两变量的散点图可以考察异常的观察值对样本相关系数的影响，利用矩阵散点图可以考察多元之间的关系，利用多元箱尾图可以比较几个变量的基本统计量的大小差别。

相关分析就是通过对大量数字资料的观察，消除偶然因素的影响，探求现象之间相关关系的密切程度和表现形式。在经济系统中，各个经济变量常常存在内在的关系。例如，经济增长与财政收人、人均收入与消费支出等。在这些关系中，有一些是严格的函数关系，这类关系可以用数学表达式表示出来。还有一些是非确定的关系，一个变量产生变动会影响其他变量，使其产生变化。这种变化具有随机的特性，但是仍然遵循一定的规律。函数关系很容易解决，而那些非确定的关系，即相关关系，才是我们所关心的问题。

回归分析研究的主要对象是客观事物变量间的统计关系。它是建立在对客观事物进行大量实验和观察的基础上，用来寻找隐藏在看起来不确定的现象中的统计规律的方法。回归分析不仅可以揭示自变量对因变量的影响大小，还可以用回归方程进行预测和控制。回归分析的主要研究范围包括:

(1) 线性回归模型: 一元线性回归模型 ， 多元线性回归模型 。
(2) 回归模型的诊断: 回归模型基本假设的合理性，回归方程拟合效果的判定，选择回归函数的形式。
(3) 广义线性模型: 含定性变量的回归 ， 自变量含定性变量 ， 因变量含定性变量 。
(4) 非线性回归模型: 一元非线性回归 ， 多元非线性回归 。

在实际研究中，经常遇到一个随机变量随一个或多个非随机变量的变化而变化的情况，而这种变化关系明显呈非线性。怎样用一个较好的模型来表示，然后进行估计与预测，并对其非线性进行检验就成为--个重要的问题。在经济预测中，常用多元回归模型反映预测量与各因素之间的依赖关系，其中，线性回归分析有着广泛的应用。但客观事物之间并不一定呈线性关系，在有些情况下，非线性回归模型更为合适，只是建立起来较为困难。在实际的生产过程中，生产管理目标的参量与加工数量存在相关关系。随着生产和加工数量的增加，生产管理目标的参量（如生产成本和生产工时等）大多不是简单的线性增加，此时，需采用非线性回归分析进行分析。

鉴于统计模型的多样性和各种模型的适应性，针对因变量和解释变量的取值性质，可将统计模型分为多种类型。通常将自变量为定性变量的线性模型称为 一般线性模型 ，如实验设计模型、方差分析模型; 将因变量为非正态分布的线性模型称为 广义线性模型 ，如 Logistic回归模型 、 对数线性模型 、 Cox比例风险模型 。

1972年，Nelder对经典线性回归模型作了进一步的推广，建立了统一的理论和计算框架，对回归模型在统计学中的应用产生了重要影响。这种新的线性回归模型称为广义线性模型( generalized linear models，GLM)。

广义线性模型是多元线性回归模型的推广，从另一个角度也可以看作是非线性模型的特例，它们具有--些共性，是其他非线性模型所不具备的。它与典型线性模型的区别是其随机误差的分布 不是正态分布 ，与非线性模型的最大区别则在于非线性模型没有明确的随机误差分布假定，而广义线性模型的 随机误差的分布是可以确定的 。广义线性模型 不仅包括离散变量，也包括连续变量 。正态分布也被包括在指数分布族里，该指数分布族包含描述发散状况的参数，属于双参数指数分布族。

判别分析是多元统计分析中用于 判别样本所属类型 的一种统计分析方法。所谓判别分析法，是在已知的分类之下，一旦有新的样品时，可以利用此法选定一个判别标准，以判定将该新样品放置于哪个类别中。判别分析的目的是对已知分类的数据建立由数值指标构成的 分类规则 ，然后把这样的规则应用到未知分类的样品中去分类。例如，我们获得了患胃炎的病人和健康人的一些化验指标，就可以从这些化验指标中发现两类人的区别。把这种区别表示为一个判别公式，然后对那些被怀疑患胃炎的人就可以根据其化验指标用判别公式来进行辅助诊断。

聚类分析是研究 物以类聚 的--种现代统计分析方法。过去人们主要靠经验和专业知识作定性分类处理，很少利用数学方法，致使许多分类带有主观性和任意性，不能很好地揭示客观事物内在的本质差别和联系，特别是对于多因素、多指标的分类问题，定性分类更难以实现准确分类。为了克服定性分类的不足，多元统计分析逐渐被引人到数值分类学中，形成了聚类分析这个分支。

聚类分析是一种分类技术，与多元分析的其他方法相比，该方法较为粗糙，理论上还不完善，但应用方面取得了很大成功。 聚类分析 与 回归分析 、 判别分析 一起被称为多元分析的三个主要方法。

在实际问题中，研究多变量问题是经常遇到的，然而在多数情况下，不同变量之间有一定相关性，这必然增加了分析问题的复杂性。主成分分析就是一种 通过降维技术把多个指标化为少数几个综合指标 的统计分析方法。如何将具有错综复杂关系的指标综合成几个较少的成分，使之既有利于对问题进行分析和解释，又便于抓住主要矛盾作出科学的评价，此时便可以用主成分分析方法。

因子分析是主成分分析的推广，它也是一种把多个变量化为少数几个综合变量的多元分析方法，但其目的是 用有限个不可观测的隐变量来解释原变量之间的相关关系 。主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标（变量)。在多元分析中，变量间往往存在相关性，是什么原因使变量间有关联呢? 是否存在不能直接观测到的但影响可观测变量变化的公共因子呢?

因子分析就是寻找这些公共因子的统计分析方法，它是 在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别 。例如，在研究糕点行业的物价变动中，糕点行业品种繁多、多到几百种甚至上千种，但无论哪种样式的糕点,用料不外乎面粉、食用油、糖等主要原料。那么，面粉、食用油、糖就是众多糕点的公共因子，各种糕点的物价变动与面粉、食用油、糖的物价变动密切相关，要了解或控制糕点行业的物价变动，只要抓住面粉、食用油和糖的价格即可。

对应分析又称为相应分析，由法国统计学家J.P.Beozecri于 1970年提出。对应分析是在因子分析基础之上发展起来的一种多元统计方法，是Q型和R型因子分析的联合应用。在经济管理数据的统计分析中，经常要处理三种关系，即 样品之间的关系（Q型关系)、变量间的关系（R型关系）以及样品与变量之间的关系（对应型关系) 。例如，对某一行业所属的企业进行经济效益评价时，不仅要研究经济效益指标间的关系，还要将企业按经济效益的好坏进行分类，研究哪些企业与哪些经济效益指标的关系更密切一些，为决策部门正确指导企业的生产经营活动提供更多的信息。这就需要有一种统计方法， 将企业（样品〉和指标（变量）放在一起进行分析、分类、作图，便于作经济意义.上的解释 。解决这类问题的统计方法就是对应分析。

在相关分析中，当考察的一组变量仅有两个时，可用 简单相关系数 来衡量它们;当考察的一组变量有多个时，可用 复相关系数 来衡量它们。大量的实际问题需要我们把指标之间的联系扩展到两组变量，即 两组随机变量之间的相互依赖关系 。典型相关分析就是用来解决此类问题的一种分析方法。它实际上是 利用主成分的思想来讨论两组随机变量的相关性问题，把两组变量间的相关性研究化为少数几对变量之间的相关性研究，而且这少数几对变量之间又是不相关的，以此来达到化简复杂相关关系的目的 。

典型相关分析在经济管理实证研究中有着广泛的应用，因为许多经济现象之间都是多个变量对多个变量的关系。例如，在研究通货膨胀的成因时，可把几个物价指数作为一组变量，把若干个影响物价变动的因素作为另一组变量，通过典型相关分析找出几对主要综合变量，结合典型相关系数对物价上涨及通货膨胀的成因，给出较深刻的分析结果。

多维标度分析（ multidimensional scaling，MDS）是 以空间分布的形式表现对象之间相似性或亲疏关系 的一种多元数据分析方法。1958年，Torgerson 在其博士论文中首次正式提出这一方法。MDS分析多见于市场营销，近年来在经济管理领域的应用日趋增多,但国内在这方面的应用报道极少。多维标度法通过一系列技巧，使研究者识别构成受测者对样品的评价基础的关键维数。例如，多维标度法常用于市场研究中，以识别构成顾客对产品、服务或者公司的评价基础的关键维数。其他的应用如比较自然属性（比如食品口味或者不同的气味)，对政治候选人或事件的了解，甚至评估不同群体的文化差异。多维标度法 通过受测者所提供的对样品的相似性或者偏好的判断推导出内在的维数 。一旦有数据，多维标度法就可以用来分析:①评价样品时受测者用什么维数;②在特定情况下受测者可能使用多少维数;③每个维数的相对重要性如何;④如何获得对样品关联的感性认识。

20世纪七八十年代，是现代科学评价蓬勃兴起的年代，在此期间产生了很多种评价方法，如ELECTRE法、多维偏好分析的线性规划法（LINMAP)、层次分析法（AHP)、数据包络分析法（EDA）及逼近于理想解的排序法（TOPSIS)等，这些方法到现在已经发展得相对完善了，而且它们的应用也比较广泛。

而我国现代科学评价的发展则是在20世纪八九十年代，对评价方法及其应用的研究也取得了很大的成效，把综合评价方法应用到了国民经济各个部门，如可持续发展综合评价、小康评价体系、现代化指标体系及国际竞争力评价体系等。

多指标综合评价方法具有以下特点: 包含若干个指标，分别说明被评价对象的不同方面 ;评价方法最终要 对被评价对象作出一个整体性的评判，用一个总指标来说明被评价对象的一般水平 。

目前常用的综合评价方法较多， 如综合评分法、综合指数法、秩和比法、层次分析法、TOPSIS法、模糊综合评判法、数据包络分析法 等。

R -- 永远滴神~

3. 多元判别分析法

研究多个自变量与因变量相互关系的一组统计理论和方法.又称多变量分析.多元分析是单变量统计方法的发展和推广.人的心理和行为具有复杂的内在结构,受到多种因素的制约.仅采用单变量分析难以揭示其内在结构以及各种影响因素的主次作用和交互影响.

4. 多元分析的基本信息

首先涉足多元分析方法是F.高尔顿锋陪盯，他于1889年把双变量的正态分布方法运用于传统的统计学，创立了相关系数和线性回归。其后的几十年中，C.E.斯皮尔曼提出因素分析法（见因素分析），R.A.费希尔提出方差分析和乱唯判别分析，S.S.威尔克斯发展了多元方差分析，H.霍特林确定了主成分分析和典型相关。到20世纪前半叶，多元分析银和理论大多已经确立。60年代以后，随着计算机科学的发展，多元分析方法在心理学以及其他许多学科的研究中得到了越来越广泛的应用。

5. 多元统计有哪些常见的分析方法

多重回归分析、判别分析、聚类分析、主成分分析、对应分析 、因子分析、典型相关分析

6. spss怎么做多元回归分析

1）准备分析数据
在SPSS数据编辑窗口中，创建变量，并输入数据。再创建分级变量“x1”、“x2”、“x3”、“x4”和“y”，它们对应的分级数值可以在SPSS数据编辑窗口中通过计算产生。
2）启动线性回归过程
单击SPSS主菜单的“Analyze”下的“Regression”中“Linear”项，将打开线性回归过程窗口。
3) 设置分析变量
设置因变量：用鼠标选中左边变量列表中的“[y]”变量，然后点击“Dependent”栏左边的向右拉按钮，该变量就移到“Dependent”因变量显示栏里。
设置自变量：将左边变量列表中的“ [x1]”、“ [x2]”、“ [x3]”、“[x4]”变量，选移到“Independent(S)”自变量显示栏里。
设置控制变量:不使用控制变量，可不选择任何变量。
选择标签变量: 选择为标签变量。
选择加权变量:没有加权变量，可不作任何设置。
4）回归方式
预报因子变量是经过相关系数法选取出来的，在回归分析时不做筛选。因此在“Method”框中选中“Enter”选项，建立全回归模型。
5）设置输出统计量
单击“Statistics”按钮，将打开对话框。该对话框用于设置相关参数。其中各项的意义分别为：
①“Regression Coefficients”回归系数选项：
“Estimates”输出回归系数和相关统计量。
“Confidence interval”回归系数的95%置信区间。
“Covariance matrix”回归系数的方差-协方差矩阵。
选择“Estimates”输出回归系数和相关统计量。
②“Resials”残差选项：
“Durbin-Watson”Durbin-Watson检验。
“Casewise diagnostic”输出满足选择条件的观测量的相关信息。选择该项，下面两项处于可选状态：
“Outliers outside standard deviations”选择标准化残差的绝对值大于输入值的观测量；
“All cases”选择所有观测量。
提交执行
在主对话框里单击“OK”，提交执行，结果将显示在输出窗口
回归模型统计量：R 是相关系数；R Square 相关系数的平方，又称判定系数，判定线性回归的拟合程度：用来说明用自变量解释因变量变异的程度（所占比例）；Adjusted R Square 调整后的判定系数；Std. Error of the Estimate 估计标准误差。

7. 简述多元线性回归分析的步骤是什么

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

1、普通最小二乘法(Ordinary Least Square, OLS)

普通最小二乘法通过最小化误差的平方和寻找最佳函数。

多元线性回归

其中，Ω是残差项的协方差矩阵。

8. 多元回归分析类型

多元回归分析类型：一元线性回归分析启笑纳、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。

回归分析的任务就是， 通过研究自变量X和因变量Y的相关关系，尝试去解释Y的形成机制，进 而达到通过X去预测Y的目的。

常见的回归分析有五类：线性回归、0‐1回归（逻辑回归）悄没、定序回归、计数回归 和生存回归，其划分的依据是因变量Y的类型。

（5）生存变量：截止数据（不确定），例如：寿命80+，截止到今年他80岁，具体他能够活到多少岁，还不知道。

2.这就是回归分析要完成的三个使命：

第一、识别重要变量；

第二、判断相关性的方向；

第三、要估计权重（回归系数（必须要去量纲））

3.回归分析的分类：

OLS:普通最小二乘

GLS:广义最小二乘

9. 多元统计分析法主要包括

多元统计分析方法主要包括线性回归分析方法、判别分析方法、聚类分析方法、主成份分析方法、因子分析方法、对应分析方法、典型相关分析方法以及片最小二乘回归分析方法等。

《多元统计分析方法》是2009年上海格致出版社出版的图书，作者是（德）巴克豪斯。本书主要讲解了多元统计分析中最常见的九种方法。

简介

多元统计分析是从经典统计学中发展起来的一个分支，是一种综合分析方法，它能够在多个对象和多个指标互相关联的情况下分析它们的统计规律，很适合农业科学研究的特点。主要内容包括多元正态分布及其抽样分布、多元正态总体的均值向量和协方差阵的假设检验。

多元方差分析、直线回归与相关、多元线性回归与相关(Ⅰ)和(Ⅱ)、主成分分析与因子分析、判别分析与聚类分析、Shannon信息量及其应用。简称多元分析。当总体的分布是多维（多元）概率分布时，处理该总体的数理统计理论和方法。数理统计学中的一个重要的分支学科。

10. 多元统计分析的简介

multivariate statistical analysis
研究客观事物中多个变量（或多个因素）之间相互依赖的统计规律性。它的重要基础之一是多元正态分析。又称多元分析 。 如果每个个体有多个观测数据，或者从数学上说， 如果个体的观测数据能表为 P维欧几里得空间的点，那么这样的数据叫做多元数据，而分析多元数据的统计方法就叫做多元统计分析 。 它是数理统计学中的一个重要的分支学科。20世纪30年代，R.A.费希尔，H.霍特林，许宝碌以及S.N.罗伊等人作出了一系列奠基性的工作，使多元统计分析在理论上得到迅速发展。50年代中期，随着电子计算机的发展和普及 ，多元统计分析在地质 、气象、生物、医学、图像处理、经济分析等许多领域得到了广泛的应用 ，同时也促进了理论的发展。各种统计软件包如SAS，SPSS等，使实际工作者利用多元统计分析方法解决实际问题更简单方便。重要的多元统计分析方法有：多重回归分析（简称回归分析）、判别分析、聚类分析、主成分分析、对应分析、因子分析、典型相关分析、多元方差分析等。
早在19世纪就出现了处理二维正态总体（见正态分布）的一些方法，但系统地处理多维概率分布总体的统计分析问题，则开始于20世纪。人们常把1928年维夏特分布的导出作为多元分析成为一个独立学科的标志。20世纪30年代，R.A.费希尔、H.霍特林、许宝禄以及S.N.罗伊等人作出了一系列奠基性的工作，使多元统计分析在理论上得到了迅速的进展。40年代，多元分析在心理、教育、生物等方面获得了一些应用。由于应用时常需要大量的计算，加上第二次世界大战的影响，使其发展停滞了相当长的时间。50年代中期，随着电子计算机的发展和普及，它在地质、气象、标准化、生物、图像处理、经济分析等许多领域得到了广泛的应用，也促进了理论的发展。
多元分析发展的初期，主要讨论如何把一元正态总体的统计理论和方法推广到多元正态总体。多元正态总体的分布由两组参数，即均值向量μ（见数学期望）和协方差矩阵（简称协差阵）∑ （见矩）所决定，记为Np(μ,∑)(p为分布的维数,故又称p维正态分布或p 维正态总体)。设X1,X2,…,Xn为来自正态总体Np(μ,∑)的样本，则μ和∑的无偏估计（见点估计）分别是
和
分别称之为样本均值向量和样本协差阵，它们是在各种多元分析问题中常用的统计量。样本相关阵R 也是一个重要的统计量，它的元素为
其中υij为样本协差阵S的元素。S的分布是维夏特分布，它是一元统计中的Ⅹ2分布的推广。
另一典型问题是：假定两个多维正态分布协差阵相同,检验其均值向量是否相同。设样本X1，X2，…，Xn抽自正态总体Np（μ1，∑）,而Y1，Y2，…，Ym抽自Np（μ2，∑），要检验假设H 0:μ1=μ2(见假设检验)。在一元统计中使用t统计量（见统计量）作检验;在多元分析中则用T2统计量,
,其中,
,
·
,T2的分布称为T2分布。这是H.霍特林在1936年提出来的。
在上述问题中的多元与一元相应的统计量是类似的，但并非都是如此。例如,要检验k个正态总体的均值是否相等，在一元统计中是导致F统计量,但在多元分析中可导出许多统计量，最着名的有威尔克斯Λ统计量和最大相对特征根统计量。研究这些统计量的精确分布和优良性是近几十年来多元统计分析的重要理论课题。
多元统计分析有狭义与广义之分，当假定总体分布是多元正态分布时，称为狭义的，否则称为广义的。近年来，狭义多元分析的许多内容已被推广到更广的分布之中，特别是推广到一种称为椭球等高分布族之中。
按多元分析所处理的实际问题的性质分类，重要的有如下几种。 简称回归分析。其特点是同时处理多个因变量。回归系数和常数的计算公式与通常的情况相仿，只是由于因变量不止一个，原来的每个回归系数在此都成为一个向量。因此，关于回归系数的检验要用T2统计量；对回归方程的显着性检验要用Λ统计量。
回归分析在地质勘探的应用中发展了一种特殊的形式，称为趋势面分析，它以各种元素的含量作为因变量，把它们对地理坐标进行回归（选用一次、二次或高次的多项式）,回归方程称为趋势面,反映了含量的趋势。残差分析是趋势面分析的重点，找出正的残差异常大的点，在这些点附近，元素的含量特别高，这就有可能形成可采的矿位。这一方法在其他领域也有应用。 由 k个不同总体的样本来构造判别函数，利用它来决定新的未知类别的样品属于哪一类，这是判别分析所处理的问题。它在医疗诊断、天气预报、图像识别等方面有广泛的应用。例如，为了判断某人是否有心脏病，从健康的人和有心脏病的人这两个总体中分别抽取样本，对每人各测两个指标X1和X2，点绘如图 。可用直线A将平面分成g1和g2两部分，落在g1的绝大部分为健康者，落在g2的绝大部分为心脏病人,利用A的垂线方向l=(l1,l2)来建立判别函数
y=l1X1+l2X2,可以求得一常数с，使 y<с 等价于（X1，X2）落在g1，y>с等价于（X1，X2）落在g2。由此得判别规则：若，l1X1+l2X2<c
判,即此人为健康者;若，l1X1+l2X2>C
判，
即此人为心脏病人;若，l1X1+l2X2=c则为待判。此例的判别函数是线性函数,它简单方便,在实际问题中经常使用。但有时也用非线性判别函数，特别是二次判别函数。建立判别函数和判别规则有不少准则和方法，常用的有贝叶斯准则、费希尔准则、距离判别、回归方法和非参数方法等。
无论用哪一种准则或方法所建立的判别函数和判别规则，都可能产生错判，错判所占的比率用错判概率来度量。当总体间区别明显时，错判概率较小；否则错判概率较大。判别函数的选择直接影响到错判概率，故错判概率可用来比较不同方法的优劣。
变量（如上例中的X1和X2）选择的好坏是使用判别分析的最重要的问题，常用逐步判别的方法来筛选出一些确有判别作用的变量。利用序贯分析的思想又产生了序贯判别分析。例如医生在诊断时,先确定是否有病,然后确定是哪个系统有病，再确定是什么性质的病等等。 又称数值分类。聚类分析和判别分析的区别在于，判别分析是已知有多少类和样本来自哪一类，需要判别新抽取的样本是来自哪一类；而聚类分析则既不知有几类,也不知样本中每一个来自哪一类。例如,为了制定服装标准，对 N个成年人，测量每人的身高(x1)、胸围(x2)、肩宽(x3)、上体长(x4)、手臂长(x5)、前胸(x6)、后背(x7)、腰围(x8)、臀围(x9)、下体长(x10)等部位，要将这N个人进行分类,每一类代表一个号型；为了使用和裁剪的方便，还要对这些变量(x1,x2,…,x10)进行分类。聚类分析就是解决上述两种分类问题。
设已知N个观测值X1,X2,…,Xn,每个观测值是一个p维向量（如上例中人的身高、胸围等）。聚类分析的思想是将每个观测值Xi看成p维空间的一个点,在p维空间中引入“距离”的概念，则可按各点间距离的远近将各点（观测值）归类。若要对 p个变量（即指标）进行分类，常定义一种“相似系数”来衡量变量之间的亲密程度，按各变量之间相似系数的大小可将变量进行分类。根据实际问题的需要和变量的类型，对距离和相似系数有不同的定义方法。
按距离或相似系数分类,有下列方法。①凝聚法:它是先将每个观察值{Xi}看成一类，逐步归并，直至全部观测值并成一类为止，然后将上述并类过程画成一聚类图（或称谱系图），利用这个图可方便地得到分类。②分解法：它是先将全部观测值看成一类，然后逐步将它们分解为2类、3类、…、N类,它是凝聚法的逆过程。③动态聚类法：它是将观测值先粗糙地分类，然后按适当的目标函数和规定的程序逐步调整，直至不能再调为止。
若观察值X1,X2,…,Xn之间的次序在分类时不允许打乱，则称为有序分类。例如在地质学中将地层进行分类，只能将互相邻接的地层分成一类，不能打乱上下的次序。用于这一类问题中的重要方法是费希尔于1958年提出的最优分割法。
聚类分析也能用于预报洪水、暴雨、地震等灾害性问题，其效果比其他统计方法好。但它在理论上还很薄弱，因为它不象其他方法那样有确切的数学模型。 又称主分量分析，是将多个变量通过线性变换以选出较少个数重要变量的一种方法。设原来有p个变量x1,x2,…,xp,为了简化问题，选一个新变量z，
,
要求z尽可能多地反映p个变量的信息，以此来选择l1,l2,…,lp,当l1,l2,…,lp选定后,称z为x1,x2,…,xp的主成分（或主分量）。有时仅一个主成分不足以代表原来的p个变量，可用q(<p)个互不相关的呈上述形式的主成分来尽可能多地反映原p个变量的信息。用来决定诸系数的原则是，在
的约束下，选择l1,l2,…,lp使z的方差达到最大。
在根据样本进行主成分分析时又可分为R型分析与Q型分析。前者是用样本协差阵（或相关阵）的特征向量作为线性函数的系数来求主成分；后者是由样品之间的内积组成的内积阵来进行类似的处理，其目的是寻找出有代表性的“典型”样品，这种方法在地质结构的分析中常使用。 它是由样本的资料将一组变量
y2，……yp）
分解为一些公共因子f与特殊因子s的线性组合,即有常数矩阵A使у=Af+s。公共因子f 的客观内容有时是明确的,如在心理研究中,根据学生的测验成绩（指标）来分析他的反应快慢、理解深浅（公共因子）；有时则是不明确的。为了寻求易于解释的公共因子，往往对因子轴进行旋转，旋转的方法有正交旋转,斜旋转,极大变差旋转等。
从样本协差阵或相关阵求公共因子的方法有广义最小二乘法、最大似然法与不加权的最小二乘法等。通常在应用中，最方便的是直接利用主成分分析所得的头几个主成分，它们往往是对各个指标影响都比较大的公共因子。 它是寻求两组变量各自的线性函数中相关系数达到最大值的一对，这称为第一对典型变量，还可以求第二对，第三对，等等，这些成对的变量，彼此是不相关的。各对的相关系数称为典型相关系数。通过这些典型变量所代表的实际含意，可以找到这两组变量间的一些内在联系。典型相关分析虽然30年代已经出现，但至今未能广泛应用。
上述的各种方法可以看成广义多元分析的内容，在有些方法中，如加上正态性的假定，就可以讨论一些更深入的问题，例如线性模型中有关线性假设检验的问题，在正态的假定下，就有比较系统的结果。 多元分析也可按指标是离散的还是连续的来区分，离散值的多元分析实质上与列联表分析有很大部分是类似的，甚至是一样的。
非数量指标数量化的理论和方法也是广义多元分析的一个重要的研究课题。