回归分析分类方法

A. 回归分析的种类

• 如果因变量是(非时间的)连续变量（即一般定量资料），设自变量的个数为k，当k＝1时，回归分析的种类有：①直线回归分析；②通过直线化实现的简单曲线回归分析（以下简称为曲线拟合）；③非线性曲线拟合；④一般多项式曲线拟合；⑤正交多项式曲线拟合。当k≥2时，称为多元回归分析（注：前面的④、⑤2种情况实质上是用多元回归分析仅只含1个自变量时较复杂的曲线拟合问题）。当同时对多个因变量进行回归分析时，称之为多重回归分析。在多元回归分析中，简单而又实用的则是多元线性回归分析（其中某些自变量可以是原观测指标经过某种初等变换的结果，如对数变换、开平根变换等，因为这里所说的线性是指∶函数f(x)相对于回归参数是线性的，并非相对于自变量而言）。这是本篇中要论述的问题。
  

• 如果因变量是与时间有关的连续变量且未被离散化（如：生存时间、复发时间、死亡时间等），而自变量可以是定量的，也可以是定性的。此时需用生存分析中的半参数或参数回归分析方法，将在本书第5篇中论述。

• 
  如果因变量是名义或有序变量，无论它取二个离散值（如：死与活、复发与未复发等）还是多个离散值（自变量可以是定性和定量的）时，都可选用logistic回归分析；如果把列联表中每个格内的理论频数的对数当作因变量，把分组变量（包含影响因素和观测结果变量2类）当作自变量，可用对数线性模性分析。这部分内容请参见本书第3篇中有关章节。在自变量代表时间的情况下，通常不假定因变量y的各次观察值独立，而具有某种非独立的结构，例如构成一平稳序列。这种回归模型的研究被划入统计学的另一个重要分支──时间序列统计分析的范围

B. 回归分析预测法的分类

回归分析预测法有多种类型。依据相关关系中自变量的个数不同分类，可分为一元回归分析预测法和多元回归分析预测法。在一元回归分析预测法中，自变量只有一个，而在多元回归分析预测法中，自变量有两个以上。依据自变量和因变量之间的相关关系不同，可分为线性回归预测和非线性回归预测。

C. 回归分析法的分类

回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。回归分析法预测是利用回归分析方法，根据一个或一组自变量的变动情况预测与其有相关关系的某随机变量的未来值。进行回归分析需要建立描述变量间相关关系的回归方程。根据自变量的个数，可以是一元回归，也可以是多元回归。根据所研究问题的性质，可以是线性回归，也可以是非线性回归。非线性回归方程一般可以通过数学方法为线性回归方程进行处理。

D. 回归分析预测技术依据是什么原理

回归分析的基本概念是用一群变量预测另一个变量的方法。通俗点来讲，就是根据几件事情的相关程度来预测另一件事情发生的概率。回归分析的目的是找到一个联系输入变量和输出变量的最优模型。

回归方法有许多种，可通过 3 种方法进行分类：自变量的个数、因变量的类型和回归线的形状。

1）依据相关关系中自变量的个数不同进行分类，回归方法可分为一元回归分析法和多元回归分析法。在一元回归分析法中，自变量只有一个，而在多元回归分析法中，自变量有两个以上。

2）按照因变量的类型，回归方法可分为线性回归分析法和非线性回归分析法。

3）按照回归线的形状分类时，如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，则这种回归分析称为一元线性回归分析；如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是非线性关系，则称为多元非线性回归分析。
1. 线性回归
线性回归是世界上最知名的建模方法之一。在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计的。这些模型被叫作线性模型。在线性模型中，因变量是连续型的，自变量可以是连续型或离散型的，回归线是线性的。

E. 什么是回归分析原理与方法

作经济研究，这是基本的方法和手段。
不知道你想了解些什么，就找了些最简单的，给你，希望有帮助。什么地方不明白再问。
直线回归是用直线回归方程表示两个数量变量间依存关系的统计分析方法，属双变量分析的范畴。
1.
直线回归方程的求法
（1）回归方程的概念:
直线回归方程的一般形式是Ý（音y
hat）=a+bx，其中x为自变量，一般为资料中能精确测定和控制的量，Y为应变量，指在x规定范围内随机变化的量。a为截距，是回归直线与纵轴的交点，b为斜率，意为x每改变一个单位时,Ý的变化量。
(2)直线回归方程的求法
确定直线回归方程利用的是最小二乘法原理，基本步骤为：
1）先求
b，基本公式为b=lxy/lxx=SSxy/SSxx
,其中lxy为X,Y的离均差积和，lxx为X的离均差平方和；
2）再求a，根据回归方程
a等于Y的均值减去x均值与b乘积的差值。
(3)回归方程的图示:
根据回归方程，在坐标轴上任意取相距较远的两点，连接上述两点就可得到回归方程的图示。应注意的是，连出的回归直线不应超过x的实测值范围.
2.
回归关系的检验
回归关系的检验又称回归方程的检验，其目的是检验求得的回归方程在总体中是否成立，即是否样本代表的总体也有直线回归关系。方法有以下两种：
(1)方差分析
其基本思想是将总变异分解为SS回归和SS剩余，然后利用F检验来判断回归方程是否成立。
(2)t检验
其基本思想是利用样本回归系数b与总体均数回归系数ß进行比较来判断回归方程是否成立，实际应用中因为回归系数b的检验过程较为复杂,而相关系数r的检验过程简单并与之等价,故一般用相关系数r的检验来代替回归系数b的检验。
3.
直线回归方程的应用
(1)描述两变量之间的依存关系；
利用直线回归方程即可定量描述两个变量间依存的数量关系
(2)利用回归方程进行预测；
把预报因子（即自变量x）代入回归方程对预报量（即因变量Y）进行估计，即可得到个体Y值的容许区间。
(3)利用回归方程进行统计控制
规定Y值的变化，通过控制x的范围来实现统计控制的目标。如已经得到了空气中NO2的浓度和汽车流量间的回归方程，即可通过控制汽车流量来控制空气中NO2的浓度。
4.
应用直线回归的注意事项
(1)做回归分析要有实际意义；
(2)回归分析前,最好先作出散点图；
(3)回归直线不要外延。

F. 分类变量如何进行线性回归分析

嗯，在分类变量中包括二分类的变量和多分类的变量，其中二分类的变量改成虚拟变量，只要将一类赋值为0，另一类赋值为1就可以了，0作为对照组；如果是多分类的变量，改成虚拟变量时，需要设立分类数减1的虚拟变量，比如年级有三个值：一年级、二年级、三年级，那就需要设两个虚拟变量：年级1、年级2，以一年级作为对照组，那年级1和年级2同时为0则表示一年级，年级1为1，年级2为0表示二年级，年级1为0，年级2为1表示三年级。
在输入数据时，数据中有两个变量：年级1和年级2，两个变量的取值都是0和1，在做回归分析时将这两个变量选入自变量中就可以了。（这些在logistic回归中其实就一步完成了，但是在线性回归中就按照上面说的，比较麻烦。）不知道我是否说明白了。

G. 回归分析的内容和步骤是什么

1、确定变量：

明确定义了预测的具体目标，并确定了因变量。 如果预测目标是下一年的销售量，则销售量Y是因变量。 通过市场调查和数据访问，找出与预测目标相关的相关影响因素，即自变量，并选择主要影响因素。

2、建立预测模型：

依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3、进行相关分析：

回归分析是因果因素（自变量）和预测因子（因变量）的数学统计分析。 只有当自变量和因变量之间存在某种关系时，建立的回归方程才有意义。 因此，作为自变量的因子是否与作为因变量的预测对象相关，程度的相关程度以及判断相关程度的程度是在回归分析中必须解决的问题。 相关分析通常需要相关性，并且相关度系数用于判断自变量和因变量之间的相关程度。

4、计算预测误差：

回归预测模型是否可用于实际预测取决于回归预测模型的测试和预测误差的计算。 回归方程只能通过回归方程作为预测模型来预测，只有当它通过各种测试且预测误差很小时才能预测。

5、确定预测值：

利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

(7)回归分析分类方法扩展阅读：

回归分析的应用：

1、相关分析研究的是现象之间是否相关、相关的方向和密切程度，一般不区别自变量或因变量。而回归分析则要分析现象之间相关的具体形式，确定其因果关系，并用数学模型来表现其具体关系。比如说，从相关分析中我们可以得知“质量”和“用户满意度”变量密切相关，但是这两个变量之间到底是哪个变量受哪个变量的影响，影响程度如何，则需要通过回归分析方法来确定。

2、一般来说，回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。

H. 数据分析师必须掌握的7种回归分析方法

1、线性回归

线性回归是数据分析法中最为人熟知的建模技术之一。它一般是人们在学习预测模型时首选的技术之一。在这种数据分析法中，由于变量是连续的，因此自变量可以是连续的也可以是离散的，回归线的性质是线性的。

线性回归使用最佳的拟合直线(也就是回归线)在因变量(Y)和一个或多个自变量(X)之间建立一种关系。

2、逻辑回归

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元(1 /0，真/假，是/否)变量时，我们就应该使用逻辑回归.

逻辑回归不要求自变量和因变量是线性关系。它可以处理各种类型的关系，因为它对预测的相对风险指数OR使用了一个非线性的log转换。

为了避免过拟合和欠拟合，我们应该包括所有重要的变量。有一个很好的方法来确保这种情况，就是使用逐步筛选方法来估计逻辑回归。它需要大的样本量，因为在样本数量较少的情况下，极大似然估计的效果比普通的最小二乘法差。

3、多项式回归

对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程。虽然会有一个诱导可以拟合一个高次多项式并得到较低的错误，但这可能会导致过拟合。你需要经常画出关系图来查看拟合情况，并且专注于保证拟合合理，既没有过拟合又没有欠拟合。下面是一个图例，可以帮助理解：

明显地向两端寻找曲线点，看看这些形状和趋势是否有意义。更高次的多项式最后可能产生怪异的推断结果。

4、逐步回归

在处理多个自变量时，我们可以使用这种形式的回归。在这种技术中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作。

这一壮举是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量。逐步回归通过同时添加/删除基于指定标准的协变量来拟合模型。

5、岭回归

岭回归分析是一种用于存在多重共线性(自变量高度相关)数据的技术。在多重共线性情况下，尽管最小二乘法(OLS)对每个变量很公平，但它们的差异很大，使得观测值偏移并远离真实值。岭回归通过给回归估计上增加一个偏差度，来降低标准误差。

除常数项以外，这种回归的假设与最小二乘回归类似;它收缩了相关系数的值，但没有达到零，这表明它没有特征选择功能，这是一个正则化方法，并且使用的是L2正则化。

6、套索回归

它类似于岭回归。除常数项以外，这种回归的假设与最小二乘回归类似;它收缩系数接近零(等于零)，确实有助于特征选择;这是一个正则化方法，使用的是L1正则化;如果预测的一组变量是高度相关的，Lasso 会选出其中一个变量并且将其它的收缩为零。

7、回归

ElasticNet是Lasso和Ridge回归技术的混合体。它使用L1来训练并且L2优先作为正则化矩阵。当有多个相关的特征时，ElasticNet是很有用的。Lasso会随机挑选他们其中的一个，而ElasticNet则会选择两个。Lasso和Ridge之间的实际的优点是，它允许ElasticNet继承循环状态下Ridge的一些稳定性。

通常在高度相关变量的情况下，它会产生群体效应;选择变量的数目没有限制;并且可以承受双重收缩。

关于数据分析师必须掌握的7种回归分析方法，青藤小编就和您分享到这里了，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的职业前景及就业内容，可以点击本站的其他文章进行学习。

I. 回归分析的认识及简单运用

回归分析的认识及简单运用

回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，分为回归和多重回归分析；按照自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多重线性回归分析。

定义

回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，以分析数据内在规律，并可用于预报、控制等问题。

方差齐性

线性关系

效应累加

变量无测量误差

变量服从多元正态分布

观察独立

模型完整（没有包含不该进入的变量、也没有漏掉应该进入的变量）

误差项独立且服从（0，1）正态分布。

现实数据常常不能完全符合上述假定。因此，统计学家研究出许多的回归模型来解决线性回归模型假定过程的约束。

研究一个或多个随机变量Y1 ，Y2 ，…，Yi与另一些变量X1、X2，…，Xk之间的关系的统计方法，又称多重回归分析。通常称Y1，Y2，…，Yi为因变量，X1、X2，…，Xk为自变量。回归分析是一类数学模型，特别当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，这叫一元线性回归，即模型为Y=a+bX+ε，这里X是自变量，Y是因变量，ε是随机误差，通常假定随机误差的均值为0，方差为σ^2（σ^2大于0）σ^2与X的值无关。若进一步假定随机误差遵从正态分布，就叫做正态线性模型。一般的情形，它有k个自变量和一个因变量，因变量的值可以分解为两部分：一部分是由于自变量的影响，即表示为自变量的函数，其中函数形式已知，但含一些未知参数；另一部分是由于其他未被考虑的因素和随机性的影响，即随机误差。当函数形式为未知参数的线性函数时，称线性回归分析模型；当函数形式为未知参数的非线性函数时，称为非线性回归分析模型。当自变量的个数大于1时称为多元回归，当因变量个数大于1时称为多重回归。

回归分析的主要内容为：

①从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。

②对这些关系式的可信程度进行检验。

③在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显着的，哪些自变量的影响是不显着的，将影响显着的自变量入模型中，而剔除影响不显着的变量，通常用逐步回归、向前回归和向后回归等方法。

④利用所求的关系式对某一生产过程进行预测或控制。回归分析的应用是非常广泛的，统计软件包使各种回归方法计算十分方便。

在回归分析中，把变量分为两类。一类是因变量，它们通常是实际问题中所关心的一类指标，通常用Y表示；而影响因变量取值的的另一类变量称为自变量，用X来表示。

回归分析研究的主要问题是：

（1）确定Y与X间的定量关系表达式，这种表达式称为回归方程；

（2）对求得的回归方程的可信度进行检验；

（3）判断自变量X对因变量Y有无影响；

（4）利用所求得的回归方程进行预测和控制。

回归分析可以说是统计学中内容最丰富、应用最广泛的分支。这一点几乎不带夸张。包括最简单的t检验、方差分析也都可以归到线性回归的类别。而卡方检验也完全可以用logistic回归代替。

众多回归的名称张口即来的就有一大片，线性回归、logistic回归、cox回归、poission回归、probit回归等等等等，可以一直说的你头晕。为了让大家对众多回归有一个清醒的认识，这里简单地做一下总结：

1、线性回归，这是我们学习统计学时最早接触的回归，就算其它的你都不明白，最起码你一定要知道，线性回归的因变量是连续变量，自变量可以是连续变量，也可以是分类变量。如果只有一个自变量，且只有两类，那这个回归就等同于t检验。如果只有一个自变量，且有三类或更多类，那这个回归就等同于方差分析。如果有2个自变量，一个是连续变量，一个是分类变量，那这个回归就等同于协方差分析。所以线性回归一定要认准一点，因变量一定要是连续变量。

2、logistic回归，与线性回归并成为两大回归，应用范围一点不亚于线性回归，甚至有青出于蓝之势。因为logistic回归太好用了，而且太有实际意义了。解释起来直接就可以说，如果具有某个危险因素，发病风险增加2.3倍，听起来多么地让人通俗易懂。线性回归相比之下其实际意义就弱了。logistic回归与线性回归恰好相反，因变量一定要是分类变量，不可能是连续变量。分类变量既可以是二分类，也可以是多分类，多分类中既可以是有序，也可以是无序。二分类logistic回归有时候根据研究目的又分为条件logistic回归和非条件logistic回归。条件logistic回归用于配对资料的分析，非条件logistic回归用于非配对资料的分析，也就是直接随机抽样的资料。无序多分类logistic回归有时候也成为多项logit模型，有序logistic回归有时也称为累积比数logit模型。

3、cox回归，cox回归的因变量就有些特殊，因为他的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用cox回归分析。cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，一是死亡状态，是活着还是死亡？二是死亡时间，如果死亡，什么时间死亡？如果活着，从开始观察到结束时有多久了？所以有了这两个变量，就可以考虑用cox回归分析。

4、poisson回归，poisson回归相比就不如前三个用的广泛了。但实际上，如果你能用logistic回归，通常也可以用poission回归，poisson回归的因变量是个数，也就是观察一段时间后，发病了多少人？或者死亡了多少人？等等。其实跟logistic回归差不多，因为logistic回归的结局是是否发病，是否死亡，也需要用到发病例数、死亡例数。大家仔细想想，其实跟发病多少人，死亡多少人一个道理。只是poission回归名气不如logistic回归大，所以用的人也不如logistic回归多。但不要因此就觉得poisson回归没有用。

5、probit回归，在医学里真的是不大用，最关键的问题就是probit这个词太难理解了，通常翻译为概率单位。probit函数其实跟logistic函数十分接近，二者分析结果也十分接近。可惜的是，probit回归的实际含义真的不如logistic回归容易理解，由此导致了它的默默无名，但据说在社会学领域用的似乎更多一些。

6、负二项回归。所谓负二项指的是一种分布，其实跟poission回归、logistic回归有点类似，poission回归用于服从poission分布的资料，logistic回归用于服从二项分布的资料，负二项回归用于服从负二项分布的资料。说起这些分布，大家就不愿意听了，多么抽象的名词，我也很头疼。如果简单点理解，二项分布你可以认为就是二分类数据，poission分布你可以认为是计数资料，也就是个数，而不是像身高等可能有小数点，个数是不可能有小数点的。负二项分布呢，也是个数，只不过比poission分布更苛刻，如果你的结局是个数，而且结局可能具有聚集性，那可能就是负二项分布。简单举例，如果调查流感的影响因素，结局当然是流感的例数，如果调查的人有的在同一个家庭里，由于流感具有传染性，那么同一个家里如果一个人得流感，那其他人可能也被传染，因此也得了流感，那这就是具有聚集性，这样的数据尽管结果是个数，但由于具有聚集性，因此用poission回归不一定合适，就可以考虑用负二项回归。既然提到这个例子，用于logistic回归的数据通常也能用poission回归，就像上面案例，我们可以把结局作为二分类，每个人都有两个状态，得流感或者不得流感，这是个二分类结局，那就可以用logistic回归。但是这里的数据存在聚集性怎么办呢，幸亏logistic回归之外又有了更多的扩展，你可以用多水平logistic回归模型，也可以考虑广义估计方程。这两种方法都可以处理具有层次性或重复测量资料的二分类因变量。

7、weibull回归，有时中文音译为威布尔回归。weibull回归估计你可能就没大听说过了，其实这个名字只不过是个噱头，吓唬人而已。上一篇说过了，生存资料的分析常用的是cox回归，这种回归几乎统治了整个生存分析。但其实夹缝中还有几个方法在顽强生存着，而且其实很有生命力，只是国内大多不愿用而已。weibull回归就是其中之一。cox回归为什么受欢迎呢，因为它简单，用的时候不用考虑条件（除了等比例条件之外），大多数生存数据都可以用。而weibull回归则有条件限制，用的时候数据必须符合weibull分布。怎么，又是分布？！估计大家头又大了，是不是想直接不往下看了，还是用cox回归吧。不过我还是建议看下去。为什么呢？相信大家都知道参数检验和非参数检验，而且可能更喜欢用参数检验，如t检验，而不喜欢用非参数检验，如秩和检验。那这里的weibull回归和cox回归基本上可以说是分别对应参数检验和非参数检验。参数检验和非参数检验的优缺点我也在前面文章里通俗介绍了，如果数据符合weibull分布，那么直接套用weibull回归当然是最理想的选择，他可以给出你最合理的估计。如果数据不符合weibull分布，那如果还用weibull回归，那就套用错误，肯定结果也不会真实到哪儿去。所以说，如果你能判断出你的数据是否符合weibull分布，那当然最好的使用参数回归，也就是weibull回归。但是如果你实在没什么信心去判断数据分布，那也可以老老实实地用cox回归。cox回归可以看作是非参数的，无论数据什么分布都能用，但正因为它什么数据都能用，所以不可避免地有个缺点，每个数据用的都不是恰到好处。weibull回归就像是量体裁衣，把体形看做数据，衣服看做模型，weibull回归就是根据你的体形做衣服，做出来的肯定对你正合身，对别人就不一定合身了。cox回归呢，就像是到商场去买衣服，衣服对很多人都合适，但是对每个人都不是正合适，只能说是大致合适。至于到底是选择麻烦的方式量体裁衣，还是图简单到商场直接去买现成的，那就根据你的喜好了，也根据你对自己体形的了解程度，如果非常熟悉，当然就量体裁衣了。如果不大了解，那就直接去商场买大众化衣服吧。

8、主成分回归。主成分回归是一种合成的方法，相当于主成分分析与线性回归的合成。主要用于解决自变量之间存在高度相关的情况。这在现实中不算少见。比如你要分析的自变量中同时有血压值和血糖值，这两个指标可能有一定的相关性，如果同时放入模型，会影响模型的稳定，有时也会造成严重后果，比如结果跟实际严重不符。当然解决方法很多，最简单的就是剔除掉其中一个，但如果你实在舍不得，毕竟这是辛辛苦苦调查上来的，删了太可惜了。如果舍不得，那就可以考虑用主成分回归，相当于把这两个变量所包含的信息用一个变量来表示，这个变量我们称它叫主成分，所以就叫主成分回归。当然，用一个变量代替两个变量，肯定不可能完全包含他们的信息，能包含80%或90%就不错了。但有时候我们必须做出抉择，你是要100%的信息，但是变量非常多的模型？还是要90%的信息，但是只有1个或2个变量的模型？打个比方，你要诊断感冒，是不是必须把所有跟感冒有关的症状以及检查结果都做完？还是简单根据几个症状就大致判断呢？我想根据几个症状大致能能确定90%是感冒了。不用非得100%的信息不是吗？模型也是一样，模型是用于实际的，不是空中楼阁。既然要用于实际，那就要做到简单。对于一种疾病，如果30个指标能够100%确诊，而3个指标可以诊断80%，我想大家会选择3个指标的模型。这就是主成分回归存在的基础，用几个简单的变量把多个指标的信息综合一下，这样几个简单的主成分可能就包含了原来很多自变量的大部分信息。这就是主成分回归的原理。

9、岭回归。岭回归的名称由来我也没有查过，可能是因为它的图形有点像岭。不要纠结于名称。岭回归也是用于处理自变量之间高度相关的情形。只是跟主成分回归的具体估计方法不同。线性回归的计算用的是最小二乘估计法，当自变量之间高度相关时，最小二乘回归估计的参数估计值会不稳定，这时如果在公式里加点东西，让它变得稳定，那就解决了这一问题了。岭回归就是这个思想，把最小二乘估计里加个k，改变它的估计值，使估计结果变稳定。至于k应该多大呢？可以根据岭迹图来判断，估计这就是岭回归名称的由来。你可以选非常多的k值，可以做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定k值了，然后整个参数估计不稳定的问题就解决了。

10、偏最小二乘回归。偏最小二乘回归也可以用于解决自变量之间高度相关的问题。但比主成分回归和岭回归更好的一个优点是，偏最小二乘回归可以用于例数很少的情形，甚至例数比自变量个数还少的情形。听起来有点不可思议，不是说例数最好是自变量个数的10倍以上吗？怎么可能例数比自变量还少，这还怎么计算？可惜的是，偏最小二乘回归真的就有这么令人发指的优点。所以，如果你的自变量之间高度相关、例数又特别少、而自变量又很多（这么多无奈的毛病），那就现在不用发愁了，用偏最小二乘回归就可以了。它的原理其实跟主成分回归有点像，也是提取自变量的部分信息，损失一定的精度，但保证模型更符合实际。因此这种方法不是直接用因变量和自变量分析，而是用反映因变量和自变量部分信息的新的综合变量来分析，所以它不需要例数一定比自变量多。偏最小二乘回归还有一个很大的优点，那就是可以用于多个因变量的情形，普通的线性回归都是只有一个因变量，而偏最小二乘回归可用于多个因变量和多个自变量之间的分析。因为它的原理就是同时提取多个因变量和多个自变量的信息重新组成新的变量重新分析，所以多个因变量对它来说无所谓。

看了以上的讲解，希望能对大家理解回归分析的运用有些帮助。

以上是小编为大家分享的关于回归分析的认识及简单运用的相关内容，更多信息可以关注环球青藤分享更多干货