數學常用的最優化方法

❶ 最優化方法數學

最優化方法簡單，就是運籌學，高中就學過，比如一些簡單的線性規劃，裡面就是一些固定的模式化方法，考試前記下就能考高分，數理統計還是很煩瑣的，是數學專業的基礎課，有點難度的，計算方法呢，也是一些固定的模式公式，但公式比較多而且比較煩瑣，計算難度大。三個相對來說，就難度與計算復雜程度來看，最優秀化方法相對簡單。

❷ 最優化問題求解方法

在求解最優化問題中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）條件是兩種最常用的方法。在有等式約束時使用拉格朗日乘子法，在有不等約束時使用KKT條件。

我們這里提到的最優化問題通常是指對於給定的某一函數，求其在指定作用域上的全局最小值(因為最小值與最大值可以很容易轉化，即最大值問題可以轉化成最小值問題)。提到KKT條件一般會附帶的提一下拉格朗日乘子。對學過高等數學的人來說比較拉格朗日乘子應該會有些印象。二者均是求解最優化問題的方法，不同之處在於應用的情形不同。

一般情況下，最優化問題會碰到一下三種情況：

這是最簡單的情況，解決方法通常是函數對變數求導，令求導函數等於0的點可能是極值點。將結果帶回原函數進行驗證即可。

設目標函數為f(x)，約束條件為h_k(x)，形如:
s.t. 表示subject to ，「受限於」的意思，l表示有l個約束條件。

則解決方法是消元法或者拉格朗日法。消元法比較簡單不在贅述，這里主要講拉格朗日法，因為後面提到的KKT條件是對拉格朗日乘子法的一種泛化。

作為一種優化演算法，拉格朗日乘子法主要用於解決約束優化問題，它的基本思想就是通過引入拉格朗日乘子來將含有n個變數和k個約束條件的約束優化問題轉化為含有（n+k）個變數的無約束優化問題。拉格朗日乘子背後的數學意義是其為約束方程梯度線性組合中每個向量的系數。

如何將一個含有n個變數和k個約束條件的約束優化問題轉化為含有（n+k）個變數的無約束優化問題？拉格朗日乘數法從數學意義入手，通過引入拉格朗日乘子建立極值條件，對n個變數分別求偏導對應了n個方程，然後加上k個約束條件（對應k個拉格朗日乘子）一起構成包含了（n+k）變數的（n+k）個方程的方程組問題，這樣就能根據求方程組的方法對其進行求解。

首先定義拉格朗日函數F(x)：

然後解變數的偏導方程：

我們上述討論的問題均為等式約束優化問題，但等式約束並不足以描述人們面臨的問題，不等式約束比等式約束更為常見，大部分實際問題的約束都是不超過多少時間，不超過多少人力，不超過多少成本等等。所以有幾個科學家拓展了拉格朗日乘數法，增加了KKT條件之後便可以用拉格朗日乘數法來求解不等式約束的優化問題了。

設目標函數f(x)，不等式約束為g(x)，有的教程還會添加上等式約束條件h(x)。此時的約束優化問題描述如下：

則我們定義不等式約束下的拉格朗日函數L，則L表達式為：

其中f(x)是原目標函數，hj(x)是第j個等式約束條件，λj是對應的約束系數，gk是不等式約束，uk是對應的約束系數。

常用的方法是KKT條件，同樣地，把所有的不等式約束、等式約束和目標函數全部寫為一個式子L(a, b, x)= f(x) + a g(x)+b h(x)，

首先，我們先介紹一下什麼是KKT條件。

KKT條件是指在滿足一些有規則的條件下, 一個非線性規劃(Nonlinear Programming)問題能有最優化解法的一個必要和充分條件. 這是一個廣義化拉格朗日乘數的成果. 一般地, 一個最優化數學模型的列標准形式參考開頭的式子, 所謂 Karush-Kuhn-Tucker 最優化條件，就是指上式的最優點x∗必須滿足下面的條件:

1). 約束條件滿足gi(x∗)≤0,i=1,2,…,p, 以及,hj(x∗)=0,j=1,2,…,q

2). ∇f(x∗)+∑i=1μi∇gi(x∗)+∑j=1λj∇hj(x∗)=0, 其中∇為梯度運算元;

3). λj≠0且不等式約束條件滿足μi≥0,μigi(x∗)=0,i=1,2,…,p。

❸ 數學中常用的優化方法有哪些

1、多目標優化問題.
對於教師和學生的滿意可以用幾個關鍵性的指標,如衡量老師的工作效率和工作強度及往返強度等,如定義
效率w=教師的實際上課時間/(教師坐班車時間+上課時間+在學校逗留時間).
然後教師的滿意度S1為幾個關鍵性指標的加權平均.注意巧源碰一些無量綱量和有量綱量的加權平均的歸一化問題.
對於學生可以定義每門課周頻次,每天上課頻次等等
對於學校滿意,可以定義班車出動次數,這個指標和教師的某一個指標是聯動的,教室和多媒體使用周孝談期頻次和使用時長等等.
2、根據第一問的模型按照數據進行求解
3、教師、裂鋒學生和學校的滿意度作為指標
4、根據結果提出合理化建議

❹ 數學中常用的優化方法有哪些

1、多目標優化問題。
對於教師和學生的滿意可以用幾個關鍵性的指標，如衡量老師的工作效率和工作強度及往返強度等，如定義
效率w=教師的實際上課時間/(教師坐班車時間+上課時間+在學校逗留時間)。
然後教師的滿意度S1為幾個關鍵性指標的加權平均。注意一些無量綱量和有量綱量的加權平均的歸一化問題。
對於學生可以定義每門課周頻次，每天上課頻次等等
對於學校滿意，可以定義班車出動次數，這個指標和教師的某一個指標是聯動的，教室和多媒體使用周期頻次和使用時長等等。
2、根據第一問的模型按照數據進行求解
3、教師、學生和學校的滿意度作為指標
4、根據結果提出合理化建議

❺ 最優化方法

最優化方法，是指解決最優化問題的方法。

所謂最優化問題，指在某些約束條件下，決定某些可選擇的變數應該取何值，使所選定的目標函數達到最優的問題。即運用最新科技手段和處理方法，使系統達到總體最優，從而為系統提出設計、施工、管理、運行的最優方案。

由於實際的需要和計算技術的進步，最優化方法的研究發展迅速。

最優化方法（也稱做運籌學方法）是近幾十年形成的，它主要運用數學方法研究各種系統的優化途徑及方案，為決策者提供科學決策的依據。

最優化方法的主要研究對象是各種有組織系統的管理問題及其生產經營活動。最優化方法的目的在於針對所研究的系統，求得一個合理運用人力、物力和財力的最佳方案，發揮和提高系統的效能及效益，最終達到系統的最優目標。

實踐表明，隨著科學技術的日益進步和生產經營的日益發展，最優化方法已成為現代管理科學的重要理論基礎和不可缺少的方法，被人們廣泛地應用到公共管理、經濟管理、工程建設、國防等各個領域，發揮著越來越重要的作用。

將介紹最優化方法的研究對象、特點，以及最胡亂彎優化方法模型的建立和模型的分析、求解、應用。主要是線性規劃問題陪芹的模型褲悶、求解（線性規劃問題的單純形解法）及其應用――運輸問題；以及動態規劃的模型、求解、應用――資源分配問題。

最優化方法：

1、微分學中求極值

2、無約束最優化問題

3、常用微分公式

4、凸集與凸函數

5、等式約束最優化問題

6、不等式約束最優化問題

7、變分學中求極值

❻ 最優化計算方法

最優化的計算方法是線性規劃

線性規劃（Linear programming,簡稱LP），是運籌學中研究較早、發展較快、應用廣泛、方法較成熟的一個重要分支，是輔助人們進行科學管理的一種數學方法，是研究線性約束條敏激件下線性目標函數的極值問題的數學理論和方法。

線性規劃是運籌學的一個重要分支，廣泛應用於軍事作戰、經濟分析、經營管理和工程技術等方面。為合橋培襪理地利用有限的人力、物力、財力等資源作出的最中喊優決策，提供科學的依據。

線性規劃是運籌學的一個重要分支，廣泛應用於軍事作戰、經濟分析、經營管理和工程技術等方面。為合理地利用有限的人力、物力、財力等資源作出的最優決策，提供科學的依據。

❼ 數學優化問題(最優化問題)

  數學優化（Mathematical Optimization）問題，也叫最優化問題，是指在一定約束條件下，求解一個目標函數的最大值（或最小值）問題。
  數學優化問題的定義為：給定一個目標函數（也叫代價函數） f : A → R ，尋找一個變數（也叫參數） x ^∗ ∈ D ，使得對於所有 D 中的 x ， f(x ^∗ ) ≤ f(x) （最小化）；或者 f(x ^∗ ) ≥ f(x) （最大化），其中 D 為變數 x 的約束集，也叫可行域； D 中的變數被稱為是可行解。

  根據輸入變數 x 的值域是否為實數域，數學優化問題可以分為離散優化問題和連續優化問題。

  離散優化（Discrete Optimization）問題是目標函數的輸入變數為離散變數，比如為整數或有限集合中的元素。連續優化（Continuous Optimization）問題是目標函數的輸入變數為連續變數 x ∈ R ^d ，即目標函數為實函數。離散優化問題主要有兩個分支：

  離散優化問題的求解一般都比較困難，優化演算法的復雜度都比較高。後面的內容主要以連續優化為主。

  在連續優化問題中，根據是否有變數的約束條件，可以將優化問題分為無約束優化問題和約束優化問題。
   無約束優化問題（Unconstrained Optimization） 的可行域為整個實數域 D = R ^d ，可以寫為
其中 x ∈ R ^d 為輸入變數， f : R ^d → R 為目標函數。
   約束優化問題（Constrained Optimization） 中變數 x 需要滿足一些等式或不等式的約束。約束優化問題通常使用拉格朗日乘數法來進行求解。

  如果目標函數和所有的約束函數都為線性函數，則該問題為 線性規劃問題（Linear Programming） 。相反，如果目標函數或任何一個約束函數為非線性函數，則該問題為 非線性規劃問題（Nonlinear Programming） 。
  在非線性優化問題中，有一類比較特殊的問題是 凸優化問題（Convex Programming） 。在凸優化問題中，變數 x 的可行域為凸集，即對於集合中任意兩點，它們的連線全部位於在集合內部。目標函數 f 也必須為凸函數，即滿足
  凸優化問題是一種特殊的約束優化問題，需滿足目標函數為凸函數，並且等式約束函數為線性函數，不等式約束函數為凹函數。

   優化問題 一般都是通過 迭代 的方式來求解：通過猜測一個初始的估計 x ₀ ，然後不斷迭代產生新的估計 x ₁ , x ₂ , · · · x _t ，希望 x _t 最終收斂到期望的最優解 x ^∗旅散納 。一個好的優化演算法應該是在 一定的時間或空間復雜度下能夠快速准確地找到最優解。同時，好的優化演算法受初始掘培猜測點的影響較小，通過迭代能穩定地找到最優解 x ^∗ 的鄰域，然後迅速收斂於 x ^∗ 。
  優化演算法中常用的迭代方法有 線性搜索和置信域方法 等。線性搜索的策略是尋找方向和步長，具體演算法有梯度下降法、牛頓拆沒法、共軛梯度法等。

  對於很多非線性優化問題，會存在若干個局部的極小值。局部最小值，或局部最優解 x ^∗ 定義為：存在一個δ > 0，對於所有的滿足|| x − x∗|| ≤ δ 的 x ，公式 f(x ^∗ ) ≤ f(x) 成立。也就是說，在 x ^∗ 的附近區域內，所有的函數值都大於或者等於 f(x ^∗ ) 。對於所有的 x ∈ A ，都有 f(x∗) ≤ f(x) 成立，則 x ^∗ 為全局最小值，或全局最優解。一般的，求局部最優解是容易的，但很難保證其為全局最優解。 對於線性規劃或凸優化問題，局部最優解就是全局最優解 。

❽ 數學中的優選法是什麼

優選法（optimization method）以數學原理為指導，合理安排試驗，以盡可能少的試驗次數盡快找到生產和科學實驗中最優方案的科學方法。即最優化方法。
優選法在數學上就是尋找函數極值的較快較精確的計算方法。優選法的應用范圍相當廣泛，中國數學家華羅庚在生產企業中推廣應用取得了成效。企業在新產品、新工藝研究，儀表、設備調試等方面採用優選法，能以較少的實驗次數迅速找到蠢模較優方案，在不增加設備、物資、人力和原材料的條件下，縮短工期、提高產量和質量，降低成本等。
實際工作中的優選問題 ，即最優化問題，大體上有兩類：一類是求帶橋緩函數的極值；另一類是求泛函的極值。如果目標函數有明顯的表達式，一般可用微分法、變分法、極大值原理或動態規劃等分析方法求解（間接選優）；如果目標消世函數的表達式過於復雜或根本沒有明顯的表達式，則可用數值方法或試驗最優化等直接方法求解（直接選優）。

❾ 最優化選擇法數學原理

2.2.1 目標函數

設觀測異常以ΔZ_k表示，k為觀測點序號，k=1，2，…，m，m為觀測點數。

設所選用的地質體模型的理論異常以 Z 表示，Z 是模型體參量和觀測點坐標的函數，即

Z=f（x_k，y_k，z_k，b₁，b₂，…，b_n）

式中：x_k，y_k，z_k為觀測點的坐標；b₁，b₂，…，b_n為模型體的參量，如空間位置、產狀、物性等，參量的個數為n。

模型體的初始參量用

，

，

，…，

表示。

理論曲線與實測曲線之間的符合程度，是以各測點上理論異常與實測異常之差的平方和（即偏差平方和）來衡量的，用φ表示，即

地球物理數據處理教程

目的在於求得一組關於模型體參量的修改量δ₁，δ₂，…，δ_n，來修改模型體給定的初值參量，即

地球物理數據處理教程

於是求出關於模型體參量的一組新值，而由這組新參量形成的模型體的理論異常與實測異常之間的偏差平方和將取極小，即是

地球物理數據處理教程

代入式（2.2.1）中將使φ值獲得極小，這時b_i即為我們的解釋結果，這稱為最小二乘意義下的最優化選擇法。

我們稱φ為目標函數，用它來衡量理論曲線與實測曲線的符合程度。最優化方法的關鍵在於求取使φ值獲得極小參量的改正值δ_i，而f通常是b_i的非線性函數，因而該問題歸結為非線性函數極小的問題。

2.2.2 求非線性函數極小的迭代過程

從上已知f為b_i的非線性函數，那麼要求它與實測值之間的偏差平方和φ為極小的問題就稱為非線性極小問題，或稱為非線性參數的估計問題。如果是線性問題，參數估計比較簡單，通常進行一次計算即可求出參數的真值，而對非線性問題，參數估計卻要復雜得多，為了求解，通常將函數在參數初值鄰域內展成線性（忽略高次項），即所謂的線性化，然後再求得改正量δ_i（i=1，2，…，n），由於這是一種近似方法，因而不可能使φ一次達到極小，而需要一個迭代過程，通過反復計算而逐步逼近函數φ的極小值。

圖2.1 不同埋深時的重力異常

為了說明這個求極小的迭代過程，可以舉一個單參量的例子，即假如我們要確定引起重力異常Δg_k的場源地質體的深度，假設場源為一個已知體積和密度的球體模型，如圖2.1所示，那麼φ就是球心埋深z的函數，如果球心埋深的真值為h，我們首先取初值為z^（0），這時函數

地球物理數據處理教程

式中：Δg_k為實測異常；g（z）是球心埋深為z的理論重力異常；φ隨z的變化情況示於圖2.2 中，要求使φ獲極小的z，即要求使

地球物理數據處理教程

的根。由於z^（0）和φ（z^（0））不能一次求出φ的極小來，通常採用迭代的辦法，如圖2.3所示，例如用牛頓切線法迭代求根，根據下式

地球物理數據處理教程

得到一個更近似於根的值z^（1），但不等於h，因此需進一步再用上式，將z^（1）作為新的初值z^（0），可得到新的z^（1）更接近於h，如此反復下去可以使z值無限接近於h，當滿足精度要求時，我們認為它近似等於h了，停止迭代，這時的z^（1）就作為h值。

圖2.2 函數φ（z）隨z變化示意圖

圖2.3 用牛頓切線法求φ′（z）=0的根示意圖

2.2.3 單參量非線性函數的極小問題

單參量不僅是討論多參量的基礎，而且往往在求多參量極小時要直接用到單參量極小的方法，因此有必要作一介紹。

求單參量極小的方法很多，上面用到的牛頓切線法就是其中之一，在此我們介紹一種用得較多的函數擬合法，以及精度較高的DSC-Powell方法。

2.2.3.1 函數擬合法

2.2.3.1.1 二次函數擬合法

A.不計算導數的情況

設取三個參量值x₁、x₂、x₃，它們對應的φ 值就應為φ₁、φ₂、φ₃，過三個點（x₁，φ₁；x₂，φ₂；x₃，φ₃）作二次拋物線，應有下式

地球物理數據處理教程

聯立φ₁、φ₂、φ₃的方程式，即可得出系數A、B、C來。

當A＞0時，應有極小點存在，我們設極小點為d，那麼根據極小的必要條件有

地球物理數據處理教程

將A、B的表達式代入即得

地球物理數據處理教程

當x₁、x₂、x₃為等距的三點時，上式可簡化為

地球物理數據處理教程

B.計算導數的情況

設已知兩個點的參量值x₁和x₂對應的函數值φ₁、φ₂，並已求得x₁點的一階導數值φ′（x₁），可用下列方法求極小點d：

地球物理數據處理教程

聯立φ₁、φ₂、φ′（x₁）三個方程即可得A、B、C，代入極小點的表達式即可求得極小點。

為了簡化起見，不妨設x₁為坐標原點（即x₁=0），設x₂=1，於是上面各式簡化成：

φ′（x₁）=B

φ₁=C

φ₂=A+B+C

A=φ₂-φ′（x₁）-φ₁

則

地球物理數據處理教程

2.2.3.1.2 三次函數擬合法

取兩個點的參量值x₁和x₂，及相應的φ₁和φ₂值，並已得到該兩點的一階導數值φ′（x₁）和φ′（x₂），我們選用一個三次多項式

φ=Ax³+Bx²+Cx+D

代入上面給出的4個條件，同樣，為了簡化起見，不妨設x₁為坐標原點（即x₁=0），設x₂=1，則有

φ₁=D

φ₂=A+B+C+D

φ′（x₁）=C

φ′（x₂）=3A+2B+C

聯立求解，可定出4個系數A、B、C、D，按照求極小的必要條件

φ′=3Ax²+2Bx+C=0

當二階導數

φ″=6Ax+2B＞0

時有極小存在，極小點d就為

地球物理數據處理教程

為了計算方便，令

v=φ′（x₁）

u=φ′（x₂）

S=-3（φ₁-φ₂）=3（A+B+C）

Z=s-u-v=B+C

W²=Z²-vu=B²-3AC

於是極小點d就可用下列形式表示：

地球物理數據處理教程

2.2.3.2 DSC-Powell 法

該法為比較細致的單參量探測法，精度比較高，計算工作量較大，大致可分為兩部分來完成，其探測（迭代）過程如圖2.4所示。

2.2.3.2.1 確定極小值所在的區間

採用的是一種直接探測法，做法可歸納如下。

第一步：給定探測方向x、初值點x₀和初始步長Δx，計算φ（x₀）和φ（x₀+Δx），若φ（x₀+Δx）≤φ（x₀），轉向第二步；若φ（x₀+Δx）＞φ（x₀），則取-Δx為步長Δx，轉向第二步。

第二步：計算x_k+1=x_k+Δx，計算φ（x_k+1）。

第三步：如果φ（x_k+1）≤φ（x_k），以2Δx為新步長代替Δx，且用k代表k+1，轉向第二步。

如果φ（x_k+1）＞φ（x_k），則以x_m表示x_k+1，以x_m-1表示x_k，將上步的x_k作為x_m-2，並計算

地球物理數據處理教程

第四步：在4個等距點（x_m-2、x_m-1、x_m+1、x_m）中，去掉四點中離φ（x）最小點最遠的那一點，即或是x_m，或是x_m-2，剩下的三點按順序以x_α、x_b、x_c表示，其中x_b為中點，那麼（x_α，x_c）區間即為極小值所在的區間。

2.2.3.2.2 用二次函數擬合法求極小點

將上面已確定的等距的 x_α、x_b、x_c三點及 φ 值，用二次函數擬合法即用公式（2.2.3）求得極小點，令為x^*點。再將x_α、x_b、x_c、x^*四點中捨去φ值最大的點，剩下的點重新令為α、b、c，則又得三點和它們相應的φ值，用公式（2.2.2）求其極小點x^*，如此反復使用公式（2.2.2），逐步縮小極小值的區間，一直到兩次求得的極小點位置差小於事先給定的精度為止，x^*點即為極小點。

圖2.4 DSC-Powell法示意圖

2.2.4 廣義最小二乘法（Gauss 法）

重磁反問題中的最優化方法，一般是指多參量的非線性最優估計問題，理論模型異常z=f（

，b₁，b₂，…，b_n）是參數b_i（i=1，2，3，…，n）的非線性函數，其中

=（x，y，z）為測點的坐標。由前已知ΔZ_k（k=1，2，…，m）表示在第k個觀測點

上的實測異常，現在要尋求與觀測異常相對應的理論模型的參量值b_i（i=1，2，…，n），使理論異常與實測異常的偏差平方和

地球物理數據處理教程

為極小。

設b_i的初值為

，則上述問題，即是要求修正量δ_i，使

地球物理數據處理教程

代入φ中，使φ獲得極小。

高斯提出了首先將f函數線性化的近似迭代方法，即將f在

處按台勞級數展開取其線性項。

地球物理數據處理教程

式中

，

地球物理數據處理教程

當

和

給出後，

和

均可直接計算出來。將台勞展開式代入式（2.2.6）中，目標函數φ為

地球物理數據處理教程

要求

使φ取得極小，根據極小的必要條件

地球物理數據處理教程

將上式化為

地球物理數據處理教程

寫成方程組形式

地球物理數據處理教程

式中：

，

（i，j=1，2，…，n）

再寫成矩陣形式，有

地球物理數據處理教程

即

地球物理數據處理教程

其中

A=P^TP

地球物理數據處理教程

式中：P稱為雅可比（Jacobi）矩陣，是理論模型函數對參量的一階導數矩陣。A為正定對稱矩陣，實際計算時，當實測異常值已給出，模型體的初值

已選定後，A和

即可計算出，求解方程（2.2.7）即可求出

，從而可得

。

上面推導出的方程（2.2.7）是將f線性化所得，因而只有當f為真正的線性函數時，

才是真正的極小點

，即一步到達極小；當f為非線性函數時，台勞式線性化僅為近似式，近似程序視

的大小而定，當|δ_i|較大時，二次以上項忽略的誤差就大，反之就小，所以對於非線性函數

不能簡單地作為極小點

，一般將

作為新的初值

再重復上述做法，再解方程（2.2.7）又得到新的

，反復迭代下去，直到滿足精度要求為止（例如|δ_i|小到允許誤差）。

在高斯法應用中常常出現一種困難，即迭代過程不穩定，當

過大時，台勞展開的高次項太大而不能忽略時，就可能發生這樣的情況，即用方程（2.2.7）求得的解，得到的參量

所對應的φ值大於

所對應的φ值，那麼它將不能穩定地收斂於φ的極小值，即是出現了發散的情況，一般說來當f非線性程度越明顯時，越易出現發散的情況。

因此高斯法的一種改進形式如下，即不直接把

作為校正值，而將它作為校正方向，記為

，而在該方向上用單變數求極小的方法尋找在這個方向上的極小點，即尋找一個α，使目標函數φ（

）為極小，取

作為新的初值，再繼續迭代（0＜α＜1）。

把這個改進的方法稱為廣義最小二乘法，它使迭代過程的穩定性有所改善，即使這樣當初值取得不好時，也有可能出現不收斂。

2.2.5 最速下降法

從前述已知，我們的目的是要求目標函數的極小，高斯法是利用將f函數線性化，建立一個正規方程（2.2.7）來求取修正量的，最速下降法是另一類型方法，它直接尋找φ函數的下降方向來求取修正量，所以它又稱為直接法，而高斯法又稱為間接法。

從目標函數φ出發來尋找其下降方向

地球物理數據處理教程

始終是大於或等於0，因此它一定有極小存在，我們首先考慮初值點

的一個鄰域內，將φ在

處台勞展開取至線性項，有

地球物理數據處理教程

希望尋找使Φ下降的方向，即要找新點

，使φ（

）＜φ（

）

即要求φ（

）-φ（

）＞0，

且越大越好，那麼可得

地球物理數據處理教程

地球物理數據處理教程

式中

表示φ函數對

的各分量的導數所組成的向量，即梯度向量。

要使上式取極大，有

地球物理數據處理教程

上式說明了φ值下降最快的方向

，應該是與梯度方向

相反的方向，即負梯度方向，那麼修正量就應在負梯度方向上來求取。下面討論從

出發，沿負梯度方向上求取極小點的方法，除了用前面介紹過的方法外，在此再介紹一種近似計算方法。

要求從

出發，沿-

方向的極小點，即要求λ使φ

為-

方向上極小點。根據極小必要條件，有

地球物理數據處理教程

如果φ為二次函數時，λ可以直接解出，在重磁反問題中φ為非二次函數，且函數形式較復雜，一般無法直接解出λ，而採用近似法，先將φ（

）台勞展開，取至線性項，即

地球物理數據處理教程

假設粗略認為φ的極小值為零，則極小點的λ應有

地球物理數據處理教程

這個方法計算簡單，但誤差較大，特別是

遠離真正極小點

時，φ值較大，上式的假設不適合，當接近真極小點

附近時，可以採用。但在重磁反問題中，由於實測值Z_k中含有干擾成分，所以即使到了

附近，φ值仍不會為零，因而上述計算λ的方法不能直接採用，可將上述計算的λ作為一個區間估計值，再用其他方法計算［0，λ］之間真正的λ值。

從上所述可將最速下降法敘述如下：從初值

出發，沿著φ（

）的負梯度方向-

（

）尋找極小點

，然後又從

出發，沿著φ（

）的負梯度方向-

（

）尋找極小點

，一直迭代下去，直到找到

為止。

由於這個方法是沿著初值點的最快下降方向，在該方向上如果採用單方向求極小的方法得到該方向上的極小點，那麼又稱「最優」、「最速」下降法。但需要指出的是，所謂「最速」是就初值點的鄰域而言，所謂「最優」是指在初值點的負梯度方向上，所以它的著眼點是就局部而言，就初值點鄰域而言，而對整體往往是既非「最優」，又非「最速」，而是一條曲折的彎路，難怪有人稱它為「瞎子下山法」，如圖2.5所示，當φ的等值面為拉長的橢球時更是如此。但它有一個十分可貴的優點，即在迭代的每一步都保證φ值下降，所以它是穩定收斂的，在φ函數復雜時，計算工作量較大些，對於大型計算機比較適用。

圖2.5 最速下降法迭代過程示意圖

圖2.6 修正量的方向

2.2.6 阻尼最小二乘法（Marguardt）

比較上述兩種方法可知，Gauss法修正量的步長大，當φ近於二次函數，可以很快收斂，但當φ為非二次函數，初值又給得不好時，常常引起發散。而最速下降法卻能保證穩定的收斂，但修正量的步長小，計算工作量大。當φ的等值面為拉長的橢球時，Gauss法的修正量

和最速下降法的修正量

之間的夾角γ可達80°～90°，如圖2.6所示。

對於φ為二次函數的情況下，高斯法的修正量

方向是指向φ的極小點，而最速下降法修正量

的方向是垂直於通過

點的φ函數等值面的切平面。因而當φ為比較復雜的函數時，有可能使

出現發散而失敗。

阻尼最小二乘法是在Gauss法和最速下降法之間取某種插值，它力圖能以最大步長前進，同時又能緊靠負梯度方向，這樣既能保證收斂又能加快速度。它的基本思想是：在迭代過程的每一步，最好盡量使用Gauss法修正量方向

，以使修正步長盡可能地增大，如當這種情況下不能收斂時，再逐步改用接近最速下降的方向

，同時縮小步長，以保證收斂，下面以

表示由阻尼最小二乘法得出的修正量。

實現上述思想只要將方程

地球物理數據處理教程

改變為

地球物理數據處理教程

就能實現了。式中

為我們所要求的修正量，即稱Marguardt修正向量，I為單位矩陣，λ是用來控制修正方向和步長的任意正數，又稱阻尼因子，它起到阻止發散的作用，方程（2.2.9）中

顯然是λ的函數，即

地球物理數據處理教程

通過這一改變後，即原來的正規方程（2.2.7）系數矩陣的主對角線上加一正數，從而使條件數得到了改善。如果原來A是奇異的，而A+λI可成為正定的，設原來A的最大特徵值和最小特徵值為μ_max和μ_min，則條件數就發生了如下變化：

地球物理數據處理教程

使病態條件數改善，對於計算來說，是十分有利的。

從方程（2.2.7）可看出，右端項為

地球物理數據處理教程

而φ的負梯度向量

的第i個分量

地球物理數據處理教程

所以

，即方程（2.2.7）、（2.2.9）的右端項

的方向即為負梯度方向，值為負梯度值的一半。

在方程（2.2.9）中，當λ=0時，即是（2.2.7）方程，這時

就是

；當λ→∞時，δ₀→

，而

是負梯度方向，這時

就是最速下降方向，所以阻尼最小二乘法的修正量

，是最速下降修正量

和Gauss法修正量

之間的某種插值，λ就是這種插值的權系數。

Marguardt向量

具有以下三個特性：

（1）當λ越來越大時，

的長度越來越小，且

地球物理數據處理教程

‖

‖表示

向量的范數，也即是它的長度。

（2）當λ由零逐漸增大時，

的方向逐漸由Gauss法的方向

轉向最速下降法方向

，λ越大，

方向越接近

方向。

（3）對λ＞0的任意正數，

（滿足方程（2.2.9））使φ在半徑為‖

‖的球面上取得極小。

圖2.7Δ₀（λ）隨λ的變化情況示意圖

以上三個性質說明，當λ逐漸增大時，

的方向由

向

靠近，它的大小‖

‖逐漸減小，λ→∞時，‖

‖→0，如圖2.7所示。因此在迭代的任何一步，我們總可以找到充分大的λ，來保證穩定的收斂，因為當φ 不下降時，就加大λ向

靠，一直到使φ下降為止，從而保證收斂。性質（3）說明在跨出同樣的步長時，以

（λ）方向最好，這就保證了該法的優越性。在實際計算時，總是在保證收斂的前提下，取較小的λ，以獲得較大的步長前進。

下面介紹阻尼最小二乘法的迭代步驟，即實際計算過程。

（1）給出模型體參量初值

，計算φ（

）；給出實測場值ΔZ_k（k=1，2，…，m）；給出阻尼因子的初值λ^（0）及改變λ的比例系數v。

（2）開始迭代，λ=λ^（0）/v

（3）計算A，（A+λI）及右端項

在初值點

的值，得方程（2.2.9），（A+λI）

的系數矩陣及右端項。

（4）求解方程（2.2.9）得

。

（5）計算

及φ（

）。

（6）比較φ（

）和φ（

）。

若φ（

）＜φ（

），則該次迭代成功。判斷

是否滿足精度要求，若滿足停止迭代，這時的

即為極小點

；若不滿足精度要求，則將

作為新

，φ（

）作為新φ（

），減小λ作為新的λ^（0），轉向第（2）步，繼續迭代下去。

若φ（

）＞φ（

），則該次迭代失敗，增大阻尼因子λ，將λ·v作為新的λ，轉向第（4）步，即重新求解（A+λI）

方程，重新得到新的

。

該方法中阻尼因子λ的選擇十分重要，上述選法是一種簡單可行的方法，還有很多不同的選擇方法，可參閱有關的書籍。