数学常用的最优化方法

❶ 最优化方法数学

最优化方法简单，就是运筹学，高中就学过，比如一些简单的线性规划，里面就是一些固定的模式化方法，考试前记下就能考高分，数理统计还是很烦琐的，是数学专业的基础课，有点难度的，计算方法呢，也是一些固定的模式公式，但公式比较多而且比较烦琐，计算难度大。三个相对来说，就难度与计算复杂程度来看，最优秀化方法相对简单。

❷ 最优化问题求解方法

在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。

我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值(因为最小值与最大值可以很容易转化，即最大值问题可以转化成最小值问题)。提到KKT条件一般会附带的提一下拉格朗日乘子。对学过高等数学的人来说比较拉格朗日乘子应该会有些印象。二者均是求解最优化问题的方法，不同之处在于应用的情形不同。

一般情况下，最优化问题会碰到一下三种情况：

这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。

设目标函数为f(x)，约束条件为h_k(x)，形如:
s.t. 表示subject to ，“受限于”的意思，l表示有l个约束条件。

则解决方法是消元法或者拉格朗日法。消元法比较简单不在赘述，这里主要讲拉格朗日法，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。

作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。

如何将一个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题？拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n个变量分别求偏导对应了n个方程，然后加上k个约束条件（对应k个拉格朗日乘子）一起构成包含了（n+k）变量的（n+k）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。

首先定义拉格朗日函数F(x)：

然后解变量的偏导方程：

我们上述讨论的问题均为等式约束优化问题，但等式约束并不足以描述人们面临的问题，不等式约束比等式约束更为常见，大部分实际问题的约束都是不超过多少时间，不超过多少人力，不超过多少成本等等。所以有几个科学家拓展了拉格朗日乘数法，增加了KKT条件之后便可以用拉格朗日乘数法来求解不等式约束的优化问题了。

设目标函数f(x)，不等式约束为g(x)，有的教程还会添加上等式约束条件h(x)。此时的约束优化问题描述如下：

则我们定义不等式约束下的拉格朗日函数L，则L表达式为：

其中f(x)是原目标函数，hj(x)是第j个等式约束条件，λj是对应的约束系数，gk是不等式约束，uk是对应的约束系数。

常用的方法是KKT条件，同样地，把所有的不等式约束、等式约束和目标函数全部写为一个式子L(a, b, x)= f(x) + a g(x)+b h(x)，

首先，我们先介绍一下什么是KKT条件。

KKT条件是指在满足一些有规则的条件下, 一个非线性规划(Nonlinear Programming)问题能有最优化解法的一个必要和充分条件. 这是一个广义化拉格朗日乘数的成果. 一般地, 一个最优化数学模型的列标准形式参考开头的式子, 所谓 Karush-Kuhn-Tucker 最优化条件，就是指上式的最优点x∗必须满足下面的条件:

1). 约束条件满足gi(x∗)≤0,i=1,2,…,p, 以及,hj(x∗)=0,j=1,2,…,q

2). ∇f(x∗)+∑i=1μi∇gi(x∗)+∑j=1λj∇hj(x∗)=0, 其中∇为梯度算子;

3). λj≠0且不等式约束条件满足μi≥0,μigi(x∗)=0,i=1,2,…,p。

❸ 数学中常用的优化方法有哪些

1、多目标优化问题.
对于教师和学生的满意可以用几个关键性的指标,如衡量老师的工作效率和工作强度及往返强度等,如定义
效率w=教师的实际上课时间/(教师坐班车时间+上课时间+在学校逗留时间).
然后教师的满意度S1为几个关键性指标的加权平均.注意巧源碰一些无量纲量和有量纲量的加权平均的归一化问题.
对于学生可以定义每门课周频次,每天上课频次等等
对于学校满意,可以定义班车出动次数,这个指标和教师的某一个指标是联动的,教室和多媒体使用周孝谈期频次和使用时长等等.
2、根据第一问的模型按照数据进行求解
3、教师、裂锋学生和学校的满意度作为指标
4、根据结果提出合理化建议

❹ 数学中常用的优化方法有哪些

1、多目标优化问题。
对于教师和学生的满意可以用几个关键性的指标，如衡量老师的工作效率和工作强度及往返强度等，如定义
效率w=教师的实际上课时间/(教师坐班车时间+上课时间+在学校逗留时间)。
然后教师的满意度S1为几个关键性指标的加权平均。注意一些无量纲量和有量纲量的加权平均的归一化问题。
对于学生可以定义每门课周频次，每天上课频次等等
对于学校满意，可以定义班车出动次数，这个指标和教师的某一个指标是联动的，教室和多媒体使用周期频次和使用时长等等。
2、根据第一问的模型按照数据进行求解
3、教师、学生和学校的满意度作为指标
4、根据结果提出合理化建议

❺ 最优化方法

最优化方法，是指解决最优化问题的方法。

所谓最优化问题，指在某些约束条件下，决定某些可选择的变量应该取何值，使所选定的目标函数达到最优的问题。即运用最新科技手段和处理方法，使系统达到总体最优，从而为系统提出设计、施工、管理、运行的最优方案。

由于实际的需要和计算技术的进步，最优化方法的研究发展迅速。

最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。

最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。

实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。

将介绍最优化方法的研究对象、特点，以及最胡乱弯优化方法模型的建立和模型的分析、求解、应用。主要是线性规划问题陪芹的模型裤闷、求解（线性规划问题的单纯形解法）及其应用――运输问题；以及动态规划的模型、求解、应用――资源分配问题。

最优化方法：

1、微分学中求极值

2、无约束最优化问题

3、常用微分公式

4、凸集与凸函数

5、等式约束最优化问题

6、不等式约束最优化问题

7、变分学中求极值

❻ 最优化计算方法

最优化的计算方法是线性规划

线性规划（Linear programming,简称LP），是运筹学中研究较早、发展较快、应用广泛、方法较成熟的一个重要分支，是辅助人们进行科学管理的一种数学方法，是研究线性约束条敏激件下线性目标函数的极值问题的数学理论和方法。

线性规划是运筹学的一个重要分支，广泛应用于军事作战、经济分析、经营管理和工程技术等方面。为合桥培袜理地利用有限的人力、物力、财力等资源作出的最中喊优决策，提供科学的依据。

线性规划是运筹学的一个重要分支，广泛应用于军事作战、经济分析、经营管理和工程技术等方面。为合理地利用有限的人力、物力、财力等资源作出的最优决策，提供科学的依据。

❼ 数学优化问题(最优化问题)

  数学优化（Mathematical Optimization）问题，也叫最优化问题，是指在一定约束条件下，求解一个目标函数的最大值（或最小值）问题。
  数学优化问题的定义为：给定一个目标函数（也叫代价函数） f : A → R ，寻找一个变量（也叫参数） x ^∗ ∈ D ，使得对于所有 D 中的 x ， f(x ^∗ ) ≤ f(x) （最小化）；或者 f(x ^∗ ) ≥ f(x) （最大化），其中 D 为变量 x 的约束集，也叫可行域； D 中的变量被称为是可行解。

  根据输入变量 x 的值域是否为实数域，数学优化问题可以分为离散优化问题和连续优化问题。

  离散优化（Discrete Optimization）问题是目标函数的输入变量为离散变量，比如为整数或有限集合中的元素。连续优化（Continuous Optimization）问题是目标函数的输入变量为连续变量 x ∈ R ^d ，即目标函数为实函数。离散优化问题主要有两个分支：

  离散优化问题的求解一般都比较困难，优化算法的复杂度都比较高。后面的内容主要以连续优化为主。

  在连续优化问题中，根据是否有变量的约束条件，可以将优化问题分为无约束优化问题和约束优化问题。
   无约束优化问题（Unconstrained Optimization） 的可行域为整个实数域 D = R ^d ，可以写为
其中 x ∈ R ^d 为输入变量， f : R ^d → R 为目标函数。
   约束优化问题（Constrained Optimization） 中变量 x 需要满足一些等式或不等式的约束。约束优化问题通常使用拉格朗日乘数法来进行求解。

  如果目标函数和所有的约束函数都为线性函数，则该问题为 线性规划问题（Linear Programming） 。相反，如果目标函数或任何一个约束函数为非线性函数，则该问题为 非线性规划问题（Nonlinear Programming） 。
  在非线性优化问题中，有一类比较特殊的问题是 凸优化问题（Convex Programming） 。在凸优化问题中，变量 x 的可行域为凸集，即对于集合中任意两点，它们的连线全部位于在集合内部。目标函数 f 也必须为凸函数，即满足
  凸优化问题是一种特殊的约束优化问题，需满足目标函数为凸函数，并且等式约束函数为线性函数，不等式约束函数为凹函数。

   优化问题 一般都是通过 迭代 的方式来求解：通过猜测一个初始的估计 x ₀ ，然后不断迭代产生新的估计 x ₁ , x ₂ , · · · x _t ，希望 x _t 最终收敛到期望的最优解 x ^∗旅散纳 。一个好的优化算法应该是在 一定的时间或空间复杂度下能够快速准确地找到最优解。同时，好的优化算法受初始掘培猜测点的影响较小，通过迭代能稳定地找到最优解 x ^∗ 的邻域，然后迅速收敛于 x ^∗ 。
  优化算法中常用的迭代方法有 线性搜索和置信域方法 等。线性搜索的策略是寻找方向和步长，具体算法有梯度下降法、牛顿拆没法、共轭梯度法等。

  对于很多非线性优化问题，会存在若干个局部的极小值。局部最小值，或局部最优解 x ^∗ 定义为：存在一个δ > 0，对于所有的满足|| x − x∗|| ≤ δ 的 x ，公式 f(x ^∗ ) ≤ f(x) 成立。也就是说，在 x ^∗ 的附近区域内，所有的函数值都大于或者等于 f(x ^∗ ) 。对于所有的 x ∈ A ，都有 f(x∗) ≤ f(x) 成立，则 x ^∗ 为全局最小值，或全局最优解。一般的，求局部最优解是容易的，但很难保证其为全局最优解。 对于线性规划或凸优化问题，局部最优解就是全局最优解 。

❽ 数学中的优选法是什么

优选法（optimization method）以数学原理为指导，合理安排试验，以尽可能少的试验次数尽快找到生产和科学实验中最优方案的科学方法。即最优化方法。
优选法在数学上就是寻找函数极值的较快较精确的计算方法。优选法的应用范围相当广泛，中国数学家华罗庚在生产企业中推广应用取得了成效。企业在新产品、新工艺研究，仪表、设备调试等方面采用优选法，能以较少的实验次数迅速找到蠢模较优方案，在不增加设备、物资、人力和原材料的条件下，缩短工期、提高产量和质量，降低成本等。
实际工作中的优选问题 ，即最优化问题，大体上有两类：一类是求带桥缓函数的极值；另一类是求泛函的极值。如果目标函数有明显的表达式，一般可用微分法、变分法、极大值原理或动态规划等分析方法求解（间接选优）；如果目标消世函数的表达式过于复杂或根本没有明显的表达式，则可用数值方法或试验最优化等直接方法求解（直接选优）。

❾ 最优化选择法数学原理

2.2.1 目标函数

设观测异常以ΔZ_k表示，k为观测点序号，k=1，2，…，m，m为观测点数。

设所选用的地质体模型的理论异常以 Z 表示，Z 是模型体参量和观测点坐标的函数，即

Z=f（x_k，y_k，z_k，b₁，b₂，…，b_n）

式中：x_k，y_k，z_k为观测点的坐标；b₁，b₂，…，b_n为模型体的参量，如空间位置、产状、物性等，参量的个数为n。

模型体的初始参量用

，

，

，…，

表示。

理论曲线与实测曲线之间的符合程度，是以各测点上理论异常与实测异常之差的平方和（即偏差平方和）来衡量的，用φ表示，即

地球物理数据处理教程

目的在于求得一组关于模型体参量的修改量δ₁，δ₂，…，δ_n，来修改模型体给定的初值参量，即

地球物理数据处理教程

于是求出关于模型体参量的一组新值，而由这组新参量形成的模型体的理论异常与实测异常之间的偏差平方和将取极小，即是

地球物理数据处理教程

代入式（2.2.1）中将使φ值获得极小，这时b_i即为我们的解释结果，这称为最小二乘意义下的最优化选择法。

我们称φ为目标函数，用它来衡量理论曲线与实测曲线的符合程度。最优化方法的关键在于求取使φ值获得极小参量的改正值δ_i，而f通常是b_i的非线性函数，因而该问题归结为非线性函数极小的问题。

2.2.2 求非线性函数极小的迭代过程

从上已知f为b_i的非线性函数，那么要求它与实测值之间的偏差平方和φ为极小的问题就称为非线性极小问题，或称为非线性参数的估计问题。如果是线性问题，参数估计比较简单，通常进行一次计算即可求出参数的真值，而对非线性问题，参数估计却要复杂得多，为了求解，通常将函数在参数初值邻域内展成线性（忽略高次项），即所谓的线性化，然后再求得改正量δ_i（i=1，2，…，n），由于这是一种近似方法，因而不可能使φ一次达到极小，而需要一个迭代过程，通过反复计算而逐步逼近函数φ的极小值。

图2.1 不同埋深时的重力异常

为了说明这个求极小的迭代过程，可以举一个单参量的例子，即假如我们要确定引起重力异常Δg_k的场源地质体的深度，假设场源为一个已知体积和密度的球体模型，如图2.1所示，那么φ就是球心埋深z的函数，如果球心埋深的真值为h，我们首先取初值为z^（0），这时函数

地球物理数据处理教程

式中：Δg_k为实测异常；g（z）是球心埋深为z的理论重力异常；φ随z的变化情况示于图2.2 中，要求使φ获极小的z，即要求使

地球物理数据处理教程

的根。由于z^（0）和φ（z^（0））不能一次求出φ的极小来，通常采用迭代的办法，如图2.3所示，例如用牛顿切线法迭代求根，根据下式

地球物理数据处理教程

得到一个更近似于根的值z^（1），但不等于h，因此需进一步再用上式，将z^（1）作为新的初值z^（0），可得到新的z^（1）更接近于h，如此反复下去可以使z值无限接近于h，当满足精度要求时，我们认为它近似等于h了，停止迭代，这时的z^（1）就作为h值。

图2.2 函数φ（z）随z变化示意图

图2.3 用牛顿切线法求φ′（z）=0的根示意图

2.2.3 单参量非线性函数的极小问题

单参量不仅是讨论多参量的基础，而且往往在求多参量极小时要直接用到单参量极小的方法，因此有必要作一介绍。

求单参量极小的方法很多，上面用到的牛顿切线法就是其中之一，在此我们介绍一种用得较多的函数拟合法，以及精度较高的DSC-Powell方法。

2.2.3.1 函数拟合法

2.2.3.1.1 二次函数拟合法

A.不计算导数的情况

设取三个参量值x₁、x₂、x₃，它们对应的φ 值就应为φ₁、φ₂、φ₃，过三个点（x₁，φ₁；x₂，φ₂；x₃，φ₃）作二次抛物线，应有下式

地球物理数据处理教程

联立φ₁、φ₂、φ₃的方程式，即可得出系数A、B、C来。

当A＞0时，应有极小点存在，我们设极小点为d，那么根据极小的必要条件有

地球物理数据处理教程

将A、B的表达式代入即得

地球物理数据处理教程

当x₁、x₂、x₃为等距的三点时，上式可简化为

地球物理数据处理教程

B.计算导数的情况

设已知两个点的参量值x₁和x₂对应的函数值φ₁、φ₂，并已求得x₁点的一阶导数值φ′（x₁），可用下列方法求极小点d：

地球物理数据处理教程

联立φ₁、φ₂、φ′（x₁）三个方程即可得A、B、C，代入极小点的表达式即可求得极小点。

为了简化起见，不妨设x₁为坐标原点（即x₁=0），设x₂=1，于是上面各式简化成：

φ′（x₁）=B

φ₁=C

φ₂=A+B+C

A=φ₂-φ′（x₁）-φ₁

则

地球物理数据处理教程

2.2.3.1.2 三次函数拟合法

取两个点的参量值x₁和x₂，及相应的φ₁和φ₂值，并已得到该两点的一阶导数值φ′（x₁）和φ′（x₂），我们选用一个三次多项式

φ=Ax³+Bx²+Cx+D

代入上面给出的4个条件，同样，为了简化起见，不妨设x₁为坐标原点（即x₁=0），设x₂=1，则有

φ₁=D

φ₂=A+B+C+D

φ′（x₁）=C

φ′（x₂）=3A+2B+C

联立求解，可定出4个系数A、B、C、D，按照求极小的必要条件

φ′=3Ax²+2Bx+C=0

当二阶导数

φ″=6Ax+2B＞0

时有极小存在，极小点d就为

地球物理数据处理教程

为了计算方便，令

v=φ′（x₁）

u=φ′（x₂）

S=-3（φ₁-φ₂）=3（A+B+C）

Z=s-u-v=B+C

W²=Z²-vu=B²-3AC

于是极小点d就可用下列形式表示：

地球物理数据处理教程

2.2.3.2 DSC-Powell 法

该法为比较细致的单参量探测法，精度比较高，计算工作量较大，大致可分为两部分来完成，其探测（迭代）过程如图2.4所示。

2.2.3.2.1 确定极小值所在的区间

采用的是一种直接探测法，做法可归纳如下。

第一步：给定探测方向x、初值点x₀和初始步长Δx，计算φ（x₀）和φ（x₀+Δx），若φ（x₀+Δx）≤φ（x₀），转向第二步；若φ（x₀+Δx）＞φ（x₀），则取-Δx为步长Δx，转向第二步。

第二步：计算x_k+1=x_k+Δx，计算φ（x_k+1）。

第三步：如果φ（x_k+1）≤φ（x_k），以2Δx为新步长代替Δx，且用k代表k+1，转向第二步。

如果φ（x_k+1）＞φ（x_k），则以x_m表示x_k+1，以x_m-1表示x_k，将上步的x_k作为x_m-2，并计算

地球物理数据处理教程

第四步：在4个等距点（x_m-2、x_m-1、x_m+1、x_m）中，去掉四点中离φ（x）最小点最远的那一点，即或是x_m，或是x_m-2，剩下的三点按顺序以x_α、x_b、x_c表示，其中x_b为中点，那么（x_α，x_c）区间即为极小值所在的区间。

2.2.3.2.2 用二次函数拟合法求极小点

将上面已确定的等距的 x_α、x_b、x_c三点及 φ 值，用二次函数拟合法即用公式（2.2.3）求得极小点，令为x^*点。再将x_α、x_b、x_c、x^*四点中舍去φ值最大的点，剩下的点重新令为α、b、c，则又得三点和它们相应的φ值，用公式（2.2.2）求其极小点x^*，如此反复使用公式（2.2.2），逐步缩小极小值的区间，一直到两次求得的极小点位置差小于事先给定的精度为止，x^*点即为极小点。

图2.4 DSC-Powell法示意图

2.2.4 广义最小二乘法（Gauss 法）

重磁反问题中的最优化方法，一般是指多参量的非线性最优估计问题，理论模型异常z=f（

，b₁，b₂，…，b_n）是参数b_i（i=1，2，3，…，n）的非线性函数，其中

=（x，y，z）为测点的坐标。由前已知ΔZ_k（k=1，2，…，m）表示在第k个观测点

上的实测异常，现在要寻求与观测异常相对应的理论模型的参量值b_i（i=1，2，…，n），使理论异常与实测异常的偏差平方和

地球物理数据处理教程

为极小。

设b_i的初值为

，则上述问题，即是要求修正量δ_i，使

地球物理数据处理教程

代入φ中，使φ获得极小。

高斯提出了首先将f函数线性化的近似迭代方法，即将f在

处按台劳级数展开取其线性项。

地球物理数据处理教程

式中

，

地球物理数据处理教程

当

和

给出后，

和

均可直接计算出来。将台劳展开式代入式（2.2.6）中，目标函数φ为

地球物理数据处理教程

要求

使φ取得极小，根据极小的必要条件

地球物理数据处理教程

将上式化为

地球物理数据处理教程

写成方程组形式

地球物理数据处理教程

式中：

，

（i，j=1，2，…，n）

再写成矩阵形式，有

地球物理数据处理教程

即

地球物理数据处理教程

其中

A=P^TP

地球物理数据处理教程

式中：P称为雅可比（Jacobi）矩阵，是理论模型函数对参量的一阶导数矩阵。A为正定对称矩阵，实际计算时，当实测异常值已给出，模型体的初值

已选定后，A和

即可计算出，求解方程（2.2.7）即可求出

，从而可得

。

上面推导出的方程（2.2.7）是将f线性化所得，因而只有当f为真正的线性函数时，

才是真正的极小点

，即一步到达极小；当f为非线性函数时，台劳式线性化仅为近似式，近似程序视

的大小而定，当|δ_i|较大时，二次以上项忽略的误差就大，反之就小，所以对于非线性函数

不能简单地作为极小点

，一般将

作为新的初值

再重复上述做法，再解方程（2.2.7）又得到新的

，反复迭代下去，直到满足精度要求为止（例如|δ_i|小到允许误差）。

在高斯法应用中常常出现一种困难，即迭代过程不稳定，当

过大时，台劳展开的高次项太大而不能忽略时，就可能发生这样的情况，即用方程（2.2.7）求得的解，得到的参量

所对应的φ值大于

所对应的φ值，那么它将不能稳定地收敛于φ的极小值，即是出现了发散的情况，一般说来当f非线性程度越明显时，越易出现发散的情况。

因此高斯法的一种改进形式如下，即不直接把

作为校正值，而将它作为校正方向，记为

，而在该方向上用单变量求极小的方法寻找在这个方向上的极小点，即寻找一个α，使目标函数φ（

）为极小，取

作为新的初值，再继续迭代（0＜α＜1）。

把这个改进的方法称为广义最小二乘法，它使迭代过程的稳定性有所改善，即使这样当初值取得不好时，也有可能出现不收敛。

2.2.5 最速下降法

从前述已知，我们的目的是要求目标函数的极小，高斯法是利用将f函数线性化，建立一个正规方程（2.2.7）来求取修正量的，最速下降法是另一类型方法，它直接寻找φ函数的下降方向来求取修正量，所以它又称为直接法，而高斯法又称为间接法。

从目标函数φ出发来寻找其下降方向

地球物理数据处理教程

始终是大于或等于0，因此它一定有极小存在，我们首先考虑初值点

的一个邻域内，将φ在

处台劳展开取至线性项，有

地球物理数据处理教程

希望寻找使Φ下降的方向，即要找新点

，使φ（

）＜φ（

）

即要求φ（

）-φ（

）＞0，

且越大越好，那么可得

地球物理数据处理教程

地球物理数据处理教程

式中

表示φ函数对

的各分量的导数所组成的向量，即梯度向量。

要使上式取极大，有

地球物理数据处理教程

上式说明了φ值下降最快的方向

，应该是与梯度方向

相反的方向，即负梯度方向，那么修正量就应在负梯度方向上来求取。下面讨论从

出发，沿负梯度方向上求取极小点的方法，除了用前面介绍过的方法外，在此再介绍一种近似计算方法。

要求从

出发，沿-

方向的极小点，即要求λ使φ

为-

方向上极小点。根据极小必要条件，有

地球物理数据处理教程

如果φ为二次函数时，λ可以直接解出，在重磁反问题中φ为非二次函数，且函数形式较复杂，一般无法直接解出λ，而采用近似法，先将φ（

）台劳展开，取至线性项，即

地球物理数据处理教程

假设粗略认为φ的极小值为零，则极小点的λ应有

地球物理数据处理教程

这个方法计算简单，但误差较大，特别是

远离真正极小点

时，φ值较大，上式的假设不适合，当接近真极小点

附近时，可以采用。但在重磁反问题中，由于实测值Z_k中含有干扰成分，所以即使到了

附近，φ值仍不会为零，因而上述计算λ的方法不能直接采用，可将上述计算的λ作为一个区间估计值，再用其他方法计算［0，λ］之间真正的λ值。

从上所述可将最速下降法叙述如下：从初值

出发，沿着φ（

）的负梯度方向-

（

）寻找极小点

，然后又从

出发，沿着φ（

）的负梯度方向-

（

）寻找极小点

，一直迭代下去，直到找到

为止。

由于这个方法是沿着初值点的最快下降方向，在该方向上如果采用单方向求极小的方法得到该方向上的极小点，那么又称“最优”、“最速”下降法。但需要指出的是，所谓“最速”是就初值点的邻域而言，所谓“最优”是指在初值点的负梯度方向上，所以它的着眼点是就局部而言，就初值点邻域而言，而对整体往往是既非“最优”，又非“最速”，而是一条曲折的弯路，难怪有人称它为“瞎子下山法”，如图2.5所示，当φ的等值面为拉长的椭球时更是如此。但它有一个十分可贵的优点，即在迭代的每一步都保证φ值下降，所以它是稳定收敛的，在φ函数复杂时，计算工作量较大些，对于大型计算机比较适用。

图2.5 最速下降法迭代过程示意图

图2.6 修正量的方向

2.2.6 阻尼最小二乘法（Marguardt）

比较上述两种方法可知，Gauss法修正量的步长大，当φ近于二次函数，可以很快收敛，但当φ为非二次函数，初值又给得不好时，常常引起发散。而最速下降法却能保证稳定的收敛，但修正量的步长小，计算工作量大。当φ的等值面为拉长的椭球时，Gauss法的修正量

和最速下降法的修正量

之间的夹角γ可达80°～90°，如图2.6所示。

对于φ为二次函数的情况下，高斯法的修正量

方向是指向φ的极小点，而最速下降法修正量

的方向是垂直于通过

点的φ函数等值面的切平面。因而当φ为比较复杂的函数时，有可能使

出现发散而失败。

阻尼最小二乘法是在Gauss法和最速下降法之间取某种插值，它力图能以最大步长前进，同时又能紧靠负梯度方向，这样既能保证收敛又能加快速度。它的基本思想是：在迭代过程的每一步，最好尽量使用Gauss法修正量方向

，以使修正步长尽可能地增大，如当这种情况下不能收敛时，再逐步改用接近最速下降的方向

，同时缩小步长，以保证收敛，下面以

表示由阻尼最小二乘法得出的修正量。

实现上述思想只要将方程

地球物理数据处理教程

改变为

地球物理数据处理教程

就能实现了。式中

为我们所要求的修正量，即称Marguardt修正向量，I为单位矩阵，λ是用来控制修正方向和步长的任意正数，又称阻尼因子，它起到阻止发散的作用，方程（2.2.9）中

显然是λ的函数，即

地球物理数据处理教程

通过这一改变后，即原来的正规方程（2.2.7）系数矩阵的主对角线上加一正数，从而使条件数得到了改善。如果原来A是奇异的，而A+λI可成为正定的，设原来A的最大特征值和最小特征值为μ_max和μ_min，则条件数就发生了如下变化：

地球物理数据处理教程

使病态条件数改善，对于计算来说，是十分有利的。

从方程（2.2.7）可看出，右端项为

地球物理数据处理教程

而φ的负梯度向量

的第i个分量

地球物理数据处理教程

所以

，即方程（2.2.7）、（2.2.9）的右端项

的方向即为负梯度方向，值为负梯度值的一半。

在方程（2.2.9）中，当λ=0时，即是（2.2.7）方程，这时

就是

；当λ→∞时，δ₀→

，而

是负梯度方向，这时

就是最速下降方向，所以阻尼最小二乘法的修正量

，是最速下降修正量

和Gauss法修正量

之间的某种插值，λ就是这种插值的权系数。

Marguardt向量

具有以下三个特性：

（1）当λ越来越大时，

的长度越来越小，且

地球物理数据处理教程

‖

‖表示

向量的范数，也即是它的长度。

（2）当λ由零逐渐增大时，

的方向逐渐由Gauss法的方向

转向最速下降法方向

，λ越大，

方向越接近

方向。

（3）对λ＞0的任意正数，

（满足方程（2.2.9））使φ在半径为‖

‖的球面上取得极小。

图2.7Δ₀（λ）随λ的变化情况示意图

以上三个性质说明，当λ逐渐增大时，

的方向由

向

靠近，它的大小‖

‖逐渐减小，λ→∞时，‖

‖→0，如图2.7所示。因此在迭代的任何一步，我们总可以找到充分大的λ，来保证稳定的收敛，因为当φ 不下降时，就加大λ向

靠，一直到使φ下降为止，从而保证收敛。性质（3）说明在跨出同样的步长时，以

（λ）方向最好，这就保证了该法的优越性。在实际计算时，总是在保证收敛的前提下，取较小的λ，以获得较大的步长前进。

下面介绍阻尼最小二乘法的迭代步骤，即实际计算过程。

（1）给出模型体参量初值

，计算φ（

）；给出实测场值ΔZ_k（k=1，2，…，m）；给出阻尼因子的初值λ^（0）及改变λ的比例系数v。

（2）开始迭代，λ=λ^（0）/v

（3）计算A，（A+λI）及右端项

在初值点

的值，得方程（2.2.9），（A+λI）

的系数矩阵及右端项。

（4）求解方程（2.2.9）得

。

（5）计算

及φ（

）。

（6）比较φ（

）和φ（

）。

若φ（

）＜φ（

），则该次迭代成功。判断

是否满足精度要求，若满足停止迭代，这时的

即为极小点

；若不满足精度要求，则将

作为新

，φ（

）作为新φ（

），减小λ作为新的λ^（0），转向第（2）步，继续迭代下去。

若φ（

）＞φ（

），则该次迭代失败，增大阻尼因子λ，将λ·v作为新的λ，转向第（4）步，即重新求解（A+λI）

方程，重新得到新的

。

该方法中阻尼因子λ的选择十分重要，上述选法是一种简单可行的方法，还有很多不同的选择方法，可参阅有关的书籍。