A. 最优化理论的方法
1、无约束最优化
2、带约束最优化
即研究的是 函数最小化 问题。（举例说明）
1、选定初始点
2、确定搜索方向 ,依照一定规则，构造 在 点处的下降方向作为搜索方向。
3、确定步长因子 ，使目标函数值有某种意义的下降
4、令 , 若 满足某种终止条件，则停止迭代，得到最优解，否则重复（2）步骤。
1、考虑二次式
（问题：为什么是二次式呢？）
2、二次式的可视化
令上式中
3、应用梯度方法找出下降方向
问题1：是不是沿梯度下降的方向去选择方向就最好呢？——The Steepest Descent
问题 2：最优点有什么性质？
4、对于二次型有
5、找出下降的步长
1）精确步长（精确一维线性搜索）
2）近似步长（不精确）
6、常见最优化方法
1）最速下降法
2）牛顿法
3）共轭梯度法
4）拟牛顿法
B. 几种常用最优化方法
学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的优化方法(optimization)有梯度下降法、牛顿法和拟牛顿法、共轭梯度法等等。
1. 梯度下降法（Gradient Descent）
梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。 梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。
梯度下降 法的缺点：
（1）靠近极小值时收敛速度减慢;
（2）直线搜索时可能会产生一些问题；
（3）可能会“之字形”地下降。
在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
比如对一个线性回归（Linear Logistics）模型，假设下面的h(x)是要拟合的函数，J( )为损失函数， 是参数，要迭代求解的值，求解出来了那最终要拟合的函数h( )就出来了。其中m是训练集的样本个数，n是特征的个数。
1）批量梯度下降法（Batch Gradient Descent，BGD）
（1）将J( )对 求偏导，得到每个theta对应的的梯度：
(2）由于是要最小化风险函数，所以按每个参数 的梯度负方向，来更新每个 ：
（3）从上面公式可以注意到，它得到的是一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果m很大，那么可想而知这种方法的迭代速度会相当的慢。所以，这就引入了另外一种方法——随机梯度下降。
对于批量梯度下降法，样本个数m，x为n维向量，一次迭代需要把m个样本全部带入计算，迭代一次计算量为m*n2。
2）随机梯度下降（Stochastic Gradient Descent，SGD）
（1）上面的风险函数可以写成如下这种形式，损失函数对应的是训练集中每个样本的粒度，而上面批量梯度下降对应的是所有的训练样本：
（2）每个样本的损失函数，对 求偏导得到对应梯度，来更新 ：
（3）随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将
迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向。
随机梯度下降每次迭代只使用一个样本，迭代一次计算量为n2，当样本个数m很大的时候，随机梯度下降迭代一次的速度要远高于批量梯度下降方法。 两者的关系可以这样理解：随机梯度下降方法以损失很小的一部分精确度和增加一定数量的迭代次数为代价，换取了总体的优化效率的提升。增加的迭代次数远远小于样本的数量。
对批量梯度下降法和随机梯度下降法的总结：
批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。
随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。
2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）
1）牛顿法（Newton's method）
牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数 f ( x )的泰勒级数的前面几项来寻找方程 f ( x ) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。
具体步骤：
首先，选择一个接近函数 f ( x )零点的x0，计算相应的 f ( x 0)和切线斜率 f ' ( x 0)（这里 f ' 表示函数 f 的导数）。然后我们计算穿过点( x 0, f ( x 0))并且斜率为 f '( x 0)的直线和 x 轴的交点的 x 坐标，也就是求如下方程的解：
我们将新求得的点的 x 坐标命名为 x 1，通常 x 1会比 x 0更接近方程 f ( x ) = 0的解。因此我们现在可以利用 x 1开始下一轮迭代。迭代公式可化简为如下所示：
已经证明，如果 f '是连续的，并且待求的零点 x 是孤立的，那么在零点 x 周围存在一个区域，只要初始值 x 0位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果 f ' ( x )不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。下图为一个牛顿法执行过程的例子。
由于牛顿法是基于当前位置的切线来确定下一次的位置，所以牛顿法又被很形象地称为是"切线法"。
关于牛顿法和梯度下降法的效率对比：
从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）
根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。
注：红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。
牛顿法的优缺点总结：
优点：二阶收敛，收敛速度快；
缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。
2）拟牛顿法（Quasi-Newton Methods）
拟牛顿法是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W.C.Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。 拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
具体步骤：
拟牛顿法的基本思想如下。首先构造目标函数在当前迭代xk的二次模型：
这里Bk是一个对称正定矩阵，于是我们取这个二次模型的最优解作为搜索方向，并且得到新的迭代点：
其中我们要求步长ak 满足Wolfe条件。这样的迭代与牛顿法类似，区别就在于用近似的Hesse矩阵Bk 代替真实的Hesse矩阵。所以拟牛顿法最关键的地方就是每一步迭代中矩阵Bk的更新。现在假设得到一个新的迭代xk+1，并得到一个新的二次模型：
我们尽可能地利用上一步的信息来选取Bk。具体地，我们要求
从而得到
这个公式被称为割线方程。常用的拟牛顿法有DFP算法和BFGS算法。
原文链接： [Math] 常见的几种最优化方法 - Poll的笔记 - 博客园
C. 优化方法的理论体系 有哪些方面
1、一维优化方法
2、多维无约束优化方法
3、多维有约束优化方法
4、线性优化方法
5、多目标优化方法
6、离散变量优化方法
7、基于其他理论的优化方法
8、常见的优化算例
9、主要文献
D. 一维搜索方法分几类
一维搜索，又称一维优化，是指求解一维目标函数 f(X) 最优解的过程。一维搜索的方法很多，常用的有试探法和插值法。试探法包括斐波那契法和黄金分割法等；插值法包括牛顿法等
E. 优化方法基础系列-非精确的一维搜索技术
选择最优步长的精确搜索方法往往计算量大，特别是当迭代点远离最优解时，效率很低，而且很多最优化算法的收敛速度并不依赖于精确的一维搜索过程。这促使一些研究者放宽了一维搜索的精确要求，而去保证目标函数在每次迭代有满意的下降量，这类方法称为非精确的一维搜索方法或可接受的一维搜索方法，它可以大大节省计算量。
不精确的一维搜索方法核心问题是选取可接受的步长 使得 得到一个满意的水平，即足够的下降且大范围收敛。因此，研究者提出了一些准则，以满足不精确搜索能也能收敛的条件。Armijo-Goldstein和Wolf-Powell准则为非精确一维搜索的两大准则。
Armijo-Goldstein准则核心思想就两点：
这两点意图是非常明显，由于最优化问题就是寻找极小值，所以使得目标函数值下降，是我们努力的方向，此外如果搜索步长太小，可能原地打转，影响收敛速度。具体方法如下：
假设 是一个下降方向，记 ，有：
则 的一个合理的下界（保证下降）：
再给其一个上界限制（ 不能太小）:
那么Armijo-Goldstein准则可描述为：
可接受的 应该满足：
注：如果 不在这个范围内，将影响其超线性收敛性。
令 ，即固定 和方向 ，求解满足条件的步长，则Armijo-Goldstein可写为：
从上图和公式中，可以看出 在 的下方， 在 的下方，所以 区间都是在满足条件的步长。然而，Armijo-Goldstein准则可能会把极值点判断在可接受的范围之外，所以为了解决这一问题，Wolf-Powell准则应用而生。
Algorithm 9 Armijo-Goldstein准则
Wolf-Powell准则下界和Armijo-Goldstein准则是一样的，即：
为了保证足够的步长以及可接受的区间包含极小值点，上界被定义:
也就是：
其说明在点 处的斜率应该大于起始点斜率的 倍。 是负值，所以上界的含义就是可接受的范围中斜率应该是接近零的负值或者正值。
此外，还有一种更为严苛的准则，称为强Wolf调节，即：
强Wolf条件使得可接受的范围的斜率的正值不至于过大，可以将远离极小值点的步长排除在外。一般 越小，线性搜索越精确，不过 越小，工作量越大，一般取
Algorithm 10 Wolf-Powell 准则
后退法仅采用了Armijo-Goldstein准则的下界限制，即保证函数的下降，此外要求 不要太小即可。其基本思想是：
关于这些准则的有效性，比如步长的存在性，大范围收敛性质可参阅刘红英版本的数值规划基础或者Numerical Optimization。后来学者们又发展了Curry-Altman步长律、Danilin-Pshenichuyi步长律、De Leone-Grippo步长律等，这些步长律或者准则会在后文的具体优化算法中有所涉及，使用的过程中可能会大大加速优化方法的收敛。
参考文献：
[1] Numerical Optimization. Jorge Nocedal
F. 利用0.618法和二次插值法求解一维优化问题的基本思想各是什么
审题——建模（建立二次函数模型）——解模（求解）——回答（用生活语言回答，即问什么答什么）
G. 第七章 一维搜索方法
本章讨论的是一维问题的迭代求解方法，这些方法统称为一维搜索法。
黄金分割法要求某单值一元函数 在闭区间 上是单峰的，即存在唯一的局部最小点。
该方法的思路为挑选 中的点，计算对应的函数值，通过不断缩小极小点所在的求见，大刀片足够的精度。
很显然每次都要计算两个目标函数值，以保证目标区间的压缩。
在黄金分割法中， 始终不变，如果允许参数 中途改变，则产生斐波那契数列法。该方法选择中间点的的原则如下：
高中学过的一阶导求法，一阶导大于0在左边，一阶导小于0在右边。
压缩比为
牛顿法假定函数连续二阶可微，这样可构建一个经过点 的二次函数，该函数在 的一阶和二阶导数分别为 和 ：
从迭代公式看出，牛顿法需要的是目标函数 的二阶导数：
上述方法均需要提供目标函数极小点所在的初始区间。而这一初始区间的寻找需要划界法确定。
本质就是不断搜索，找三个点比一比，然后迭代。因为假定函数是单峰的，不需要考虑全局问题。
多维优化问题的迭代球阀，通常每次迭代都包括一维搜索。