神經網路最常用的訓練方法

① 除了梯度下降法還有什麼方法訓練神經網路

還有很多，一步正割演算法，擬牛頓演算法，量化共軛梯度法，彈性梯度下降法等等。具體可以在MATLAB的help文件訓練函數中查看，路徑是：Neural Network Toolbox>Functions>Training Functions，可以看到各種演算法的函數及詳細介紹

② BP神經網路方法

人工神經網路是近幾年來發展起來的新興學科，它是一種大規模並行分布處理的非線性系統，適用解決難以用數學模型描述的系統，逼近任何非線性的特性，具有很強的自適應、自學習、聯想記憶、高度容錯和並行處理能力，使得神經網路理論的應用已經滲透到了各個領域。近年來，人工神經網路在水質分析和評價中的應用越來越廣泛，並取得良好效果。在這些應用中，縱觀應用於模式識別的神經網路，BP網路是最有效、最活躍的方法之一。

BP網路是多層前向網路的權值學習採用誤差逆傳播學習的一種演算法（Error Back Propagation，簡稱BP）。在具體應用該網路時分為網路訓練及網路工作兩個階段。在網路訓練階段，根據給定的訓練模式，按照「模式的順傳播」→「誤差逆傳播」→「記憶訓練」→「學習收斂」4個過程進行網路權值的訓練。在網路的工作階段，根據訓練好的網路權值及給定的輸入向量，按照「模式順傳播」方式求得與輸入向量相對應的輸出向量的解答（閻平凡，2000）。

BP演算法是一種比較成熟的有指導的訓練方法，是一個單向傳播的多層前饋網路。它包含輸入層、隱含層、輸出層，如圖4-4所示。

圖4-4 地下水質量評價的BP神經網路模型

圖4-4給出了4層地下水水質評價的BP神經網路模型。同層節點之間不連接。輸入信號從輸入層節點，依次傳過各隱含層節點，然後傳到輸出層節點，如果在輸出層得不到期望輸出，則轉入反向傳播，將誤差信號沿原來通路返回，通過學習來修改各層神經元的權值，使誤差信號最小。每一層節點的輸出隻影響下一層節點的輸入。每個節點都對應著一個作用函數（f）和閾值（a），BP網路的基本處理單元量為非線性輸入-輸出的關系，輸入層節點閾值為0，且f（x）=x；而隱含層和輸出層的作用函數為非線性的Sigmoid型（它是連續可微的）函數，其表達式為

f（x）=1/（1+e^-x） （4-55）

設有L個學習樣本（X_k，O_k）（k=1，2，…，l），其中X_k為輸入，O_k為期望輸出，X_k經網路傳播後得到的實際輸出為Y_k，則Y_k與要求的期望輸出O_k之間的均方誤差為

區域地下水功能可持續性評價理論與方法研究

式中：M為輸出層單元數；Y_k，p為第k樣本對第p特性分量的實際輸出；O_k，p為第k樣本對第p特性分量的期望輸出。

樣本的總誤差為

區域地下水功能可持續性評價理論與方法研究

由梯度下降法修改網路的權值，使得E取得最小值，學習樣本對W_ij的修正為

區域地下水功能可持續性評價理論與方法研究

式中：η為學習速率，可取0到1間的數值。

所有學習樣本對權值W_ij的修正為

區域地下水功能可持續性評價理論與方法研究

通常為增加學習過程的穩定性，用下式對W_ij再進行修正：

區域地下水功能可持續性評價理論與方法研究

式中：β為充量常量；W_ij（t）為BP網路第t次迭代循環訓練後的連接權值；W_ij（t-1）為BP網路第t-1次迭代循環訓練後的連接權值。

在BP網路學習的過程中，先調整輸出層與隱含層之間的連接權值，然後調整中間隱含層間的連接權值，最後調整隱含層與輸入層之間的連接權值。實現BP網路訓練學習程序流程，如圖4-5所示（倪深海等，2000）。

圖4-5 BP神經網路模型程序框圖

若將水質評價中的評價標准作為樣本輸入，評價級別作為網路輸出，BP網路通過不斷學習，歸納出評價標准與評價級別間復雜的內在對應關系，即可進行水質綜合評價。

BP網路對地下水質量綜合評價，其評價方法不需要過多的數理統計知識，也不需要對水質量監測數據進行復雜的預處理，操作簡便易行，評價結果切合實際。由於人工神經網路方法具有高度民主的非線性函數映射功能，使得地下水水質評價結果較准確（袁曾任，1999）。

BP網路可以任意逼近任何連續函數，但是它主要存在如下缺點：①從數學上看，它可歸結為一非線性的梯度優化問題，因此不可避免地存在局部極小問題；②學習演算法的收斂速度慢，通常需要上千次或更多。

神經網路具有學習、聯想和容錯功能，是地下水水質評價工作方法的改進，如何在現行的神經網路中進一步吸取模糊和灰色理論的某些優點，建立更適合水質評價的神經網路模型，使該模型既具有方法的先進性又具有現實的可行性，將是我們今後研究和探討的問題。

③ BP人工神經網路方法

（一）方法原理

人工神經網路是由大量的類似人腦神經元的簡單處理單元廣泛地相互連接而成的復雜的網路系統。理論和實踐表明，在信息處理方面，神經網路方法比傳統模式識別方法更具有優勢。人工神經元是神經網路的基本處理單元，其接收的信息為x₁，x₂，…，x_n，而ω_ij表示第i個神經元到第j個神經元的連接強度或稱權重。神經元的輸入是接收信息X＝（x₁，x₂，…，x_n）與權重W＝｛ω_ij｝的點積，將輸入與設定的某一閾值作比較，再經過某種神經元激活函數f的作用，便得到該神經元的輸出O_i。常見的激活函數為Sigmoid型。人工神經元的輸入與輸出的關系為

地球物理勘探概論

式中：x_i為第i個輸入元素，即n維輸入矢量X的第i個分量；ω_i為第i個輸入與處理單元間的互聯權重；θ為處理單元的內部閾值；y為處理單元的輸出。

常用的人工神經網路是BP網路，它由輸入層、隱含層和輸出層三部分組成。BP演算法是一種有監督的模式識別方法，包括學習和識別兩部分，其中學習過程又可分為正向傳播和反向傳播兩部分。正向傳播開始時，對所有的連接權值置隨機數作為初值，選取模式集的任一模式作為輸入，轉向隱含層處理，並在輸出層得到該模式對應的輸出值。每一層神經元狀態隻影響下一層神經元狀態。此時，輸出值一般與期望值存在較大的誤差，需要通過誤差反向傳遞過程，計算模式的各層神經元權值的變化量

。這個過程不斷重復，直至完成對該模式集所有模式的計算，產生這一輪訓練值的變化量Δω_ij。在修正網路中各種神經元的權值後，網路重新按照正向傳播方式得到輸出。實際輸出值與期望值之間的誤差可以導致新一輪的權值修正。正向傳播與反向傳播過程循環往復，直到網路收斂，得到網路收斂後的互聯權值和閾值。

（二）BP神經網路計算步驟

（1）初始化連接權值和閾值為一小的隨機值，即W（0）＝任意值，θ（0）＝任意值。

（2）輸入一個樣本X。

（3）正向傳播，計算實際輸出，即根據輸入樣本值、互聯權值和閾值，計算樣本的實際輸出。其中輸入層的輸出等於輸入樣本值，隱含層和輸出層的輸入為

地球物理勘探概論

輸出為

地球物理勘探概論

式中：f為閾值邏輯函數，一般取Sigmoid函數，即

地球物理勘探概論

式中：θ_j表示閾值或偏置；θ₀的作用是調節Sigmoid函數的形狀。較小的θ₀將使Sigmoid函數逼近於閾值邏輯單元的特徵，較大的θ₀將導致Sigmoid函數變平緩，一般取θ₀＝1。

（4）計算實際輸出與理想輸出的誤差

地球物理勘探概論

式中：t_pk為理想輸出；O_pk為實際輸出；p為樣本號；k為輸出節點號。

（5）誤差反向傳播，修改權值

地球物理勘探概論

式中：

地球物理勘探概論

地球物理勘探概論

（6）判斷收斂。若誤差小於給定值，則結束，否則轉向步驟（2）。

（三）塔北雅克拉地區BP神經網路預測實例

以塔北雅克拉地區S4井為已知樣本，取氧化還原電位，放射性元素Rn、Th、Tc、U、K和地震反射

構造面等7個特徵為識別的依據。

構造面反映了局部構造的起伏變化，其局部隆起部位應是油氣運移和富集的有利部位，它可以作為判斷含油氣性的諸種因素之一。在該地區投入了高精度重磁、土壤微磁、頻譜激電等多種方法，一些參數未入選為判別的特徵參數，是因為某些參數是相關的。在使用神經網路方法判別之前，還採用K-L變換（Karhaem-Loeve）來分析和提取特徵。

S4井位於測區西南部5線25點，是區內唯一已知井。該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層，在5482m深的震旦系地層中獲58m厚的油氣層。取S4井周圍9個點，即4～6線的23～25 點作為已知油氣的訓練樣本；由於區內沒有未見油的鑽井，只好根據地質資料分析，選取14～16線的55～57點作為非油氣的訓練樣本。BP網路學習迭代17174次，總誤差為0.0001，學習效果相當滿意。以學習後的網路進行識別，得出結果如圖6-2-4所示。

圖6-2-4 塔北雅克拉地區BP神經網路聚類結果

（據劉天佑等，1997）

由圖6-2-4可見，由預測值大於0.9可得5個大封閉圈遠景區，其中測區南部①號遠景區對應著已知油井S4井；②、③號油氣遠景區位於地震勘探所查明的托庫1、2號構造，該兩個構造位於沙雅隆起的東段，其西段即為1984年鑽遇高產油氣流的Sch2井，應是含油氣性好的遠景區；④、⑤號遠景區位於大澇壩構造，是yh油田的組成部分。