三种降维分析方法的异同

㈠ 论述数学分析降维和换元思想

在质上没有区别，都需要经过数学转换。
降维主要表现在空间维度的变化，从高到低。
换元主要是空间映射关系的改变，有时可以起到降维的作用。
例如：
xy*xy+xy=1，换元后可以变成 x*x+x=1

㈡ 主成分分析和层次分析法的区别和联系

层次分析法：

主成分分析和层次分析两者计算权重的不同，AHP层次分析法是一种定性和定量的计算权重的研究方法，采用两两比较的方法，建立矩阵，利用了数字大小的相对性，数字越大越重要权重会越高的原理，最终计算得到每个因素的重要性。

主成分分析

（1）方法原理及适用场景

主成分分析是对数据进行浓缩，将多个指标浓缩成为几个彼此不相关的概括性指标（主成分），从而达到降维的目的。主成分分析可同时计算主成分权重及指标权重。

（2）操作步骤

使用SPSSAU【进阶方法-主成分分析】。

如果计算主成分权重，需要用到方差解释率。具体加权处理方法为：方差解释率除累积方差解释率。

比如本例中，5个指标共提取了2个主成分：

主成分1的权重：45.135%/69.390%=65.05%

主成分2的权重：24.254%/69.390%=34.95%

如果是计算指标权重，可直接查看“线性组合系数及权重结果表格”，SPSSAU自动输出了各指标权重占比结果。其计算原理分为三步：

第一：计算线性组合系数矩阵，公式为：loading矩阵/Sqrt(特征根)，即载荷系数除以对应特征根的平方根；

第二：计算综合得分系数，公式为：累积（线性组合系数*方差解释率）/累积方差解释率，即上一步中得到的线性组合系数分别与方差解释率相乘后累加，并且除以累积方差解释率；

第三：计算权重，将综合得分系数进行归一化处理即得到各指标权重值。

㈢ 主成分分析法和聚类分析法的区别

聚类分析法是理想的多变量统计技术，主要有分层聚类法和迭代聚类法。 聚类分析也称群分析、点群分析，是研究分类的一种多元统计方法。
指标（变量）之间存在程度不同的相似性（亲疏关系——以样品间距离衡量）。于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，直到把所有的样品（或指标）聚合完毕，这就是分类的基本思想。 在聚类分析中，通常我们将根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。
R型聚类分析是对变量进行分类处理，Q型聚类分析是对样本进行分类处理。
R型聚类分析的主要作用是： 1、不但可以了解个别变量之间的关系的亲疏程度，而且可以了解各个变量组合之间的亲疏程度。
2、根据变量的分类结果以及它们之间的关系，可以选择主要变量进行回归分析或Q型聚类分析。

㈣ 主成份分析和因子分析的区别

因子分析与主成分分析的异同点:
都对原始数据进行标准化处理; 都消除了原始指标的相关性对综合评价所造成的信息重复的影响; 构造综合评价时所涉及的权数具有客观性; 在信息损失不大的前提下，减少了评价工作量
公共因子比主成分更容易被解释; 因子分析的评价结果没有主成分分析准确; 因子分析比主成分分析的计算工作量大

主成分分析仅仅是变量变换，而因子分析需要构造因子模型。
主成分分析:原始变量的线性组合表示新的综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。

㈤ 因子分析法和主成分分析法的区别与联系是什么

联系:因子分析法和主成分分析法都是统计分析方法，都要对变量标准化，并找出相关矩阵。区别:在主成分分析中，最终确定的新变量是原始变量的线性组合，因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系。
1.因子分析法通过正交变换，将一组可能具有相关性的变量转换为一组线性不相关的变量，称为主成分。它主要用于市场研究领域。在市场研究中，研究人员关注一些研究指标的整合或组合。这些概念通常通过分数来衡量。人口学、数量地理学、分子动力学模拟、数学建模、数学分析等学科。因子分析和主成分分析都是统计分析方法，都需要对变量进行标准化，找出相关矩阵。
2.因子分析可以在许多变量中发现隐藏的代表性因素。主成分分析的原理是尝试将原始变量重新组合成一组新的独立综合变量。因子分析在主成分分析的基础上增加了一个旋转函数。这种轮换的目的是更容易地命名和解释因素的含义。如果研究的重点是指标与分析项目之间的对应关系，或者想要对得到的指标进行命名，建议使用因子分析。
3.主成分分析法是根据实际需要，尽量选取尽可能少的求和变量，以反映原始变量的信息。这种统计方法称为主成分分析或主成分分析，这也是一种处理降维的数学方法。主成分分析试图用一套新的不相关的综合指标取代原有指标。因子分析是社会研究的有力工具，但它不能确定一项研究中有多少因素。当研究中选择的变量发生变化时，因素的数量也会发生变化。
拓展资料:霍特林将这种方法推广到随机向量的情况。信息的大小通常由方差或方差的平方和来衡量。因子分析最早由英国心理学家C.E.斯皮尔曼提出。他发现学生在不同科目的成绩之间有一定的相关性。一门学科成绩好的学生往往在其他学科成绩更好，因此他推测是否有一些潜在的共同因素或一些一般的智力条件影响学生的学业成绩。

㈥ 成分分析法和因子分析法的主要区别

主成分分析和因子分析有十大区别： 
1.原理不同：成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。  因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系） 
2.线性表示方向不同：因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成分表示成各变量的线性组合。 
3.假设条件不同：成分分析不需要有假设(assumptions),  因子分析：需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不相关，共同因子和特殊因子之间也不相关。  
4.求解方法不同：成分分析方法从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知），采用的方法只有主成分法。  （实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计） 注意事项：由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；一般当变量单位相同或者变量在同一数量等级的情况下，可以直接采用协方差阵进行计算；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；实际应用中应该尽可能的避免标准化，因为在标准化的过程中会抹杀一部分原本刻画变量之间离散程度差异的信息。此外，最理想的情况是主成分分析前的变量之间相关性高，且变量之间不存在多重共线性问题(会出现最小特征根接近0的情况)；  求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。
5.主成分和因子的变化不同：成分分析当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的独特的；  因子分析：因子不是固定的，可以旋转得到不同的因子。 
6.因子数量与主成分的数量：成分分析主成分的数量是一定的，一般有几个变量就有几个主成分（只是主成分所解释的信息量不等），实际应用时会根据碎石图提取前几个主要的主成分。  因子分析：因子个数需要分析者指定（SPSS和sas根据一定的条件自动设定，只要是特征值大于1的因子主可进入分析），指定的因子数量不同而结果也不同； 
7.解释重点不同：成分分析重点在于解释个变量的总方差，  因子分析：则把重点放在解释各变量之间的协方差。  
8.算法上的不同：成分分析协方差矩阵的对角元素是变量的方差； 因子分析：所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）
9.优点不同：因子分析可以使用旋转技术，使得因子更好的得到解释，因此在解释主成分方面因子分析更占优势；其次因子分析不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据； 主成分分析： 第一：如果仅仅想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析，不过一般情况下也可以使用因子分析； 第二：通过计算综合主成分函数得分，对客观经济现象进行科学评价； 第三：它在应用上侧重于信息贡献影响力综合评价。  第四：应用范围广，主成分分析不要求数据来自正态分布总体，其技术来源是矩阵运算的技术以及矩阵对角化和矩阵的谱分解技术，因而凡是涉及多维度问题，都可以应用主成分降维； 
10.应用场景不同：成分分析可以用于系统运营状态做出评估，一般是将多个指标综合成一个变量，即将多维问题降维至一维，这样才能方便排序评估；  此外还可以应用于经济效益、经济发展水平、经济发展竞争力、生活水平、生活质量的评价研究上；  主成分还可以用于和回归分析相结合，进行主成分回归分析，甚至可以利用主成分分析进行挑选变量，选择少数变量再进行进一步的研究。  一般情况下主成分用于探索性分析，很少单独使用，用主成分来分析数据，可以让我们对数据有一个大致的了解。
文章来于成分分析：http://www.femtoanalysis.com，转载请注明出处

㈦ 探索性因子分析法的差异

探索性因子分析和验证性因子分析的差异之处
1.基本思想不同
因子分析的基本思想是要寻找公共因子，以达到降维的目的。探索性因子分析主要是为了找出影响观测变量的因子个数，以及各个因子和各个观测变量之间的相关程度，以试图揭示一套相对比较大的变量的内在结构。研究者的假定是每个指标变量都与某个因子匹配，而且只能通过因子载荷凭知觉推断数据的因子结构。而验证性因子分析的主要目的是决定事前定义因子的模型拟合实际数据的能力，以试图检验观测变量的因子个数和因子载荷是否与基于预先建立的理论的预期一致。指标变量是基于先验理论选出的，而因子分析是用来看它们是否如预期的一样。其先验假设是每个因子都与一个具体的指示变量子集对应，并且至少要求预先假设模型中因子的数目，但有时也预期哪些变量依赖哪个因子。
2.应用前提不同 探索性因子分析没有先验信息，而验证性因子分析有先验信息。探索性因子分析是在事先不知道影响因子的基础上，完全依据样本数据，利用统计软件以一定的原则进行因子分析，最后得出因子的过程。
在进行探索性因子分析之前，不必知道要用几个因子，以及各因子和观测变量之间的关系。在进行探索性因子分析时，由于没有先验理论，只能通过因子载荷凭知觉推断数据的因子结构。上述数学模型中的公共因子数m 在分析前并未确定，而是在分析过程中视中间结果而决定，各个公共因子ξi统一地规定为均影响每个观测变量xi。在管理研究中，如仅仅从数据出发，很难得到科学的结果，甚至可能与已有的理论或经验相悖。因此，探索性因子分析更适合于在没有理论支持的情况下对数据的试探性分析。这就需要用验证性因子分析来做进一步检验。而验证性因子分析则是基于预先建立的理论，要求事先假设因子结构，其先验假设是每个因子都与一个具体的指示变量子集对应，以检验这种结构是否与观测数据一致。也就是在上述数学模型中，首先要根据先验信息判定公共因子数m，同时还要根据实际情况将模型中某些参数设定为某一定值。这样，验证性因子分析也就充分利用了先验信息，在已知因子的情况下检验所搜集的数据资料是否按事先预定的结构方式产生作用。
3.理论假设不同 探索性因子分析的假设主要包括：①所有的公共因子都相关(或都不相关)；②所有的公共因子都直接影响所有的观测变量；③ 特殊(唯一性)因子之间相互独立；④ 所有观测变量只受一个特殊(唯一性)因子的影响；⑤ 公共因子与特殊因子(唯一性)相互独立。验证性因子分析克服了探索性因子分析假设条件约束太强的缺陷，其假设主要包括：① 公共因子之间可以相关，也可以无关；② 观测变量可以只受一个或几个公共因子的影响，而不必受所有公共因子的影响；③特殊因子之间可以相关，还可以出现不存在误差因素的观测变量；④ 公共因子与特殊因子之间相互独立。
4.分析步骤不同 探索性因子分析主要有以下七个步骤：① 收集观测变量：通常采用抽样的方法，按照实际情况收集观测变量数据。② 构造相关矩阵：根据相关矩阵可以确定是否适合进行因子分析。③确定因子个数：可根据实际情况事先假定因子个数，也可以按照特征根大于1的准则或碎石准则来确定因子个数。④ 提取因子：可以根据需要选择合适的因子提取方法，如主成分方法、加权最小平方法、极大似然法等。⑤ 因子旋转：由于初始因子综合性太强，难以找出实际意义，因此一般都需要对因子进行旋转(常用的旋转方法有正交旋转、斜交旋转等)，以便于对因子结构进行合理解释。⑥解释因子结构：可以根据实际情况及负载大小对因子进行具体解释。⑦计算因子得分：可以利用公共因子来做进一步的研究，如聚类分析、评价等。
而验证性因子分析主要有以下六个步骤：① 定义因子模型：包括选择因子个数和定义因子载荷。因子载荷可以事先定为0、或者其它自由变化的常数，或者在一定的约束条件下变化的数(比如与另一载荷相等)。② 收集观测值：根据研究目的收集观测值。③获得相关系数矩阵：根据原始资料数据获得变量协方差阵。④ 拟合模型：这里需要选择一种方法(如极大似然估计、渐进分布自由估计等)来估计自由变化的因子载荷。⑤ 评价模型：当因子模型能够拟合数据时，因子载荷的选择要使模型暗含的相关矩阵与实际观测矩阵之间的差异最小。常用的统计参数有：卡方拟合指数(x)、比较拟合指数(CFI)、拟合优度指数(GFI)和估计误差均方根(RMSEA)。根据Bentler(1990)的建议标准，x/DF≤3.0、CFI≥0.90、GFI≥0.85、RMSE≤0.05，则表明该模型的拟合程度是可接受的。⑥修正模型：如果模型拟合效果不佳，应根据理论分析修正或重新限定约束关系，对模型进行修正，以得到最优模型。
5.主要应用范围不同 探索性因子分析主要应用于三个方面：①寻求基本结构，解决多元统计分析中的变量间强相关问题；② 数据化简；③发展测量量表。验证性因子分析允许研究者将观察变量依据理论或先前假设构成测量模式，然后评价此因子结构和该理论界定的样本资料间符合的程度。因此，主要应用于以下三个方面：① 验证量表的维度或面向性(dimensionality)，或者称因子结构，决定最有效因子结构；② 验证因子的阶层关系；③ 评估量表的信度和效度。
6.探索性因子分析和验证性因子分析的正确用法 从上述分析可以看出，探索性因子分析和验证性 因子分析是因子分析的两个不可分割的重要组成部分，在管理研究的实际应用中，两者不能截然分开，只有结合运用，才能相得益彰，使研究更有深度。An-derson，J．C．，Gerbin，D．W 建议，在发展理论的过程中，首先应通过探索性因子分析建立模型，再用验证提供了发析现模型以验证和修正的概念和计算工具，其提供的结果为验证性因子分析建立假设提供了重要的基础和保证。两种因子分析缺少任何一个，因子分析都将是不完整的 。一般来说，如果研究者没有坚实的理论基础支撑，有关观测变量内部结构一般先用探索性因子分析，产生一个关于内部结构的理论，再在此基础上用验证性因子分析，这样的做法是比较科学的，但这必须要用两组分开的数据来做。如果研究者直接把探索性因子分析的结果放到统一数据的验证性因子分析中，研究者就仅仅是拟合数据，而不是检验理论结构。如果样本容量足够大的话，可以将数据样本随机分成两半，合理的做法就是先用一半数据做探索性因子分析，然后把分析取得的因子用在剩下的一半数据中做验证性因子分析。如果验证性因子分析的拟合效果非常差，那么还必须用探索性因子分析来找出数据与模型之间的不一致。

㈧ 降维的方法主要有

在分析高维数据时，降维（Dimensionality rection，DR）方法是我们不可或缺的好帮手。

作为数据去噪简化的一种方法，它对处理大多数现代生物数据很有帮助。在这些数据集中，经常存在着为单个样本同时收集数百甚至数百万个测量值的情况。

由于“维度灾难”（curse of dimensionality）的存在，很多统计方法难以应用到高维数据上。虽然收集到的数据点很多，但是它们会散布在一个庞大的、几乎不可能进行彻底探索的高维空间中。

通过降低数据的维度，你可以把这个复杂棘手的问题变得简单轻松。除去噪音但保存了所关注信息的低维度数据，对理解其隐含的结构和模式很有帮助。原始的高维度数据通常包含了许多无关或冗余变量的观测值。降维可以被看作是一种潜在特征提取的方法。它也经常用于数据压缩、数据探索以及数据可视化。

虽然在标准的数据分析流程中已经开发并实现了许多降维方法，但它们很容易被误用，并且其结果在实践中也常被误解。

本文为从业者提供了一套有用的指南，指导其如何正确进行降维，解释其输出并传达结果。

技巧1：选择一个合适的方法

当你想从现有的降维方法中选择一种进行分析时，可用的降维方法的数量似乎令人生畏。事实上，你不必拘泥于一种方法；但是，你应该意识到哪些方法适合你当前的工作。

降维方法的选择取决于输入数据的性质。比如说，对于连续数据、分类数据、计数数据、距离数据，它们会需要用到不同的降维方法。你也应该用你的直觉和相关的领域知识来考虑收集到的数据。通常情况下，观测可以充分捕获临近（或类似）数据点之间的小规模关系，但并不能捕获远距离观测之间的长期相互作用。对数据的性质和分辨率的考虑是十分重要的，因为降维方法可以还原数据的整体或局部结构。一般来说，线性方法如主成分分析（Principal Component Analysis, PCA）、对应分析（Correspondence Analysis, CA）、多重对应分析（Multiple Correspondence Analysis, MCA）、经典多维尺度分析（classical multidimensional scaling, cMDS）也被称为主坐标分析（Principal Coordinate Analysis, PCoA） 等方法，常用于保留数据的整体结构；而非线性方法，如核主成分分析（Kernel Principal Component Analysis, Kernel PCA）、非度量多维尺度分析（Nonmetric Multidimensional Scaling, NMDS）、等度量映射（Isomap）、扩散映射（Diffusion Maps）、以及一些包括t分布随机嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）在内的邻近嵌入技术，更适合于表达数据局部的相互作用关系。NE技术不会保留数据点之间的长期相互作用关系，其可视化报告中的非临近观测组的排列并没有参考价值。因此，NE的图表不应该被用于数据的大规模结构的推测

㈨ 降维分析法概念

这种调查问卷或心理测试很明显要用因子分析，因为这些被访者的回答都只是个表象罢了，其实决定他们怎么回答的是内在的因素，比如人们的自信程度啊等等。
用因子分析，分析出这些潜在的变量后，用这些潜在变量做聚类分析，把被访者分成几个群体。

㈩ 统计方法中，有哪些降维方法

七种降维方法：
1、缺失值比率 (Missing Values Ratio)
2、 低方差滤波 (Low Variance Filter)
3、 高相关滤波 (High Correlation Filter)
4、 随机森林/组合树 (Random Forests)
5、 主成分分析 (PCA)
6、 反向特征消除 (Backward Feature Eliminati
7、 前向特征构造 (Forward Feature Construction)