基于梯度下降法與廣義逆的復值神經網絡訓練方法技術

本發明專利技術涉及一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，步驟一，選擇單隱層復值神經網絡模型；步驟二，利用梯度下降法和廣義逆計算單隱層復值神經網絡中的權值矩陣和權值向量，步驟三,根據權值矩陣和權值向量，獲取復值神經網絡網絡參數，進行計算均方誤差；將迭代次數加1，返回步驟二。本發明專利技術的隱層輸入權值是通過梯度下降法迭代產生，輸出權值始終通過廣義逆來求解。本方法迭代次數少，相應的訓練時間短，收斂速度快，并且學習效率高，同時所需的隱層節點個數少。因此，本發明專利技術比BSCBP方法與CELM方法能夠較為準確的反映復值神經網絡模型的性能。

Training method of complex valued neural networks based on gradient descent method and generalized inverse

The present invention relates to a gradient descent method and the generalized inverse of the complex valued neural network training method based on step one, choose a single hidden layer complex valued neural network model; step two, by using the gradient descent method and generalized inverse calculation of single hidden layer complex valued neural network and the weight matrix and weight vector, step three, according to the weight matrix and weight vector, obtain the complex valued neural network parameters, calculate the mean square error; and the number of iterations will be 1, return to step two. The input weight of the hidden layer is generated iteratively by the gradient descent method, and the output weights are always solved by generalized inverse. This method has fewer iterations, shorter training time, faster convergence speed and higher learning efficiency. Meanwhile, the required number of hidden nodes is less. Therefore, the invention can accurately reflect the performance of the complex valued neural network model than the BSCBP method and the CELM method.

【技術實現步驟摘要】
基于梯度下降法與廣義逆的復值神經網絡訓練方法
本專利技術屬于圖像處理、模式識別和通信傳輸的
，尤其涉及一種基于梯度下降法與廣義逆的復值神經網絡訓練方法。
技術介紹
在圖像處理、模式識別和通信傳輸等方面利用神經網絡建模的方法進行樣本訓練與測試有廣泛的應用。在訓練樣本中的神經網絡模型建模，神經網絡信號(輸入信號和輸出信號以及權值參數)，可以為實數值和復數值，從而神經網絡分為實值神經網絡和復值神經網絡。現有的神經網絡建模方法多數是建立的實值神經網絡模型，但隨著電子信息科學的迅速發展，復數值信號越來越頻繁地出現在工程實踐中，僅考慮實值的計算無法良好的解決實際問題，而復值神經網絡可以解決一些實值神經網絡所解決不了的問題。復值神經網絡是通過復數參數和變量(即信號的輸入、輸出以及網絡權值均為復數)來處理復數信息的神經網絡。因此，一系列復值神經網絡的模型被陸續提出并加以深入研究。在BatchSplit-ComplexBackpropagationAlgorithm中提出了一種BSCBP方法用于訓練復值神經網絡。激活函數選擇實虛部型激活函數，對隱層輸入的實虛部分別激活，避免奇異點的出現；BSCBP方法先給輸入權值矩陣以及輸出權值矩陣進行隨機賦值，再通過梯度下降法進行梯度更新，最后計算測試樣本的精度。但是，基于梯度下降法的BSCBP模型需要多次迭代訓練，消耗時間長并且學習效率較低。在FullyComplexExtremeLearningMachine中提出了一種CELM方法將ELM方法從實數域擴展到復數域，并應用于非線性信道均衡。CELM只需要設置合適的網絡隱層節點個數，對網絡的輸入權值進行隨機賦值，輸出層權值的最優解通過最小二乘法得到，激活函數可以選sigmoid函數、(反)三角函數以及(反)雙曲函數，與BSCBP不同的是，激活函數對隱層的輸入矩陣直接激活。整個過程一次完成，無需迭代，因此具有參數選擇容易、學習速度極快的優點。但是CELM方法為了彌補隱層節點參數的隨意性選擇，往往需要較多的隱層節點個數，且訓練精度有待進一步提高。綜上所述，BSCBP在訓練時速度緩慢，精度較低，CELM方法雖然速度快，但所需要的網絡隱層節點數過多，且精度也有待提高，現有技術中對于如何同時解決復值神經網絡訓練方法中訓練速度慢、精度低和網絡隱層節點數過多的問題，尚缺乏有效的解決方案。
技術實現思路
本專利技術為了解決上述問題，克服傳統的復值神經網絡訓練方法中無法同時解決訓練速度慢、精度低和網絡隱層節點數過多的問題，提供一種基于梯度下降法與廣義逆的復值神經網絡訓練方法(GradientbasedGeneralizedComplexNeuralNetworks,簡稱GGCNN)。為了實現上述目的，本專利技術采用如下技術方案：一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，所述方法步驟包括：(1)選擇單隱層復值神經網絡模型對樣本數據集進行建模；(2)根據步驟(1)中選擇的單隱層復值神經網絡模型，利用廣義逆計算所述單隱層復值神經網絡中的權值矩陣，將迭代次數初始值設置為1，利用梯度下降法計算所述單隱層復值神經網絡中的權值向量；(3)根據步驟(2)中計算出的所述權值矩陣和所述權值向量，獲取復值神經網絡網絡參數，計算當前樣本數據的均方誤差；判斷當前迭代次數是否等于最大迭代次數，若是，結束訓練；若否，將當前迭代次數加1，返回步驟(2)。優選的，所述步驟(1)中的樣本數據集包括訓練樣本數據集或測試數據集。優選的，所述步驟(1)中的所述單隱層復值神經網絡模型為：所述單隱層復值神經網絡模型中的輸入層、隱層和輸出層神經元個數分別為L、M和1；給定Q個輸入樣本，其樣本矩陣為Z＝(zij)L×Q＝ZR+iZI，其中，ZR為Z的實部，ZI為Z的虛部；第q個樣本的輸入為其中，i＝1,2…L；輸入樣本相應的理想輸出矩陣為D＝(d1,d2…dQ)T＝DR+iDI，其中，DR為D的實部，DI為D的虛部；第q個樣本的理想輸出為dq∈C。優選的，所述單隱層復值神經網絡模型中的所述隱層的激活函數為gc:C→C；連接輸入層和隱層的權值矩陣為W＝(wij)M×L＝WR+iWI，其中，WR為W的實部，WI為W的虛部；輸入層與第i個隱節點的連接權值記為wi＝(wi1,wi2…wiL)∈CL，其中，i＝1,2…M；連接隱層和輸出層的權值向量為V＝(v1,v2…vM)T＝VR+iVI，其中，VR為V的實部，VI為V的虛部；第k個隱節點與輸出層的連接權值記為vk∈C，其中，k＝1,2…M。優選的，所述步驟(2)中的具體步驟為：(2-1)初始化輸入層到隱層的權值矩陣，獲取初始權值矩陣W0，W0在給定區間內隨機賦值；(2-2)利用梯度下降法和廣義逆計算單隱層復值神經網絡中的權值矩陣和權值向量。優選的，所述步驟(2-2)中的所述通過廣義逆計算隱層到輸出層的權值矩陣V的具體步驟為：(2-2a-1)根據步驟(2-1)中的所述初始權值矩陣W0與步驟(1)中的樣本矩陣Z計算隱層的輸入矩陣U＝(uij)M×Q，(2-2a-2)對矩陣步驟(2-2a-1)中的所述輸入矩陣U的實部和虛部分別激活，得到隱層的輸出矩陣H＝(hij)M×Q，H＝gc(UR))+igc(UI))＝HR+iHI，其中，HR為H的實部，HI為H的虛部；(2-2a-3)：通過廣義逆計算隱層到輸出層的權值矩陣V，其中，H為步驟(2-2a-2)中隱層的輸出矩陣，D為步驟(1)中的所述理想輸出矩陣。優選的，所述步驟(2-2)中的對初始權值矩陣W0進行優化具體步驟為：(2-2b-1)：設置初始迭代次數k＝1，最大迭代次數為K；(2-2b-2)：計算均方誤差E關于隱層權值W的梯度；(2-2b-3)：權值更新公式為其中，n＝1,2,…,η為學習率。優選的，所述步驟(2-2b-2)中均方誤差E關于隱層權值W的梯度分成兩部分計算，先求E對WR的梯度，再求E對WI的梯度，其中，WR為W實部，WI為W的虛部；式中，zq為第q個樣本的輸入向量，zq,R為第q個樣本的輸入向量的實部，zq,I為第q個樣本的輸入向量的虛部，gc為隱層的激活函數，為第q個樣本在第m個隱節點處的輸入，為第q個樣本在第m個隱節點的輸入的實部，為第q個樣本在第m個隱節點的輸入的虛部。優選的，所述步驟(3)中的具體步驟為：(3-1)輸出層的激活函數選擇線性函數，則輸出層的輸入等于輸出層的輸出，網絡的實際輸出為O＝(o1,o2…oQ)T，第q個樣本的實際輸出為oq∈C，q＝1,2…Q,將矩陣O分為OR(實部)和OI(虛部)兩部分,O＝HTV＝OR+iOI第q個樣本的實際輸出:其中，vR為隱層到輸出層權值向量的實部，vI為隱層到輸出層權值向量的虛部，hq,R為第q個樣本隱層輸出向量的實部，hq,I為第q個樣本隱層輸出向量的虛部；(3-2)計算當前樣本數據的均方誤差，判斷當前迭代次數k是否等于最大迭代次數K，若是，結束訓練；若否，將當前迭代次數加1，返回步驟(2-2b-2)。優選的，所述步驟(3)中的計算當前樣本數據的均方誤差采用：其中，oq為第q個樣本的實際輸出，dq為第q個樣本的理想輸出。本專利技術的有益效果：1、本專利技術的一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，隱層輸入權值是通過梯度下降法迭代本文檔來自技高網...

【技術保護點】
一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，其特征是：所述方法步驟包括：(1)選擇單隱層復值神經網絡模型對樣本數據集進行建模；(2)根據步驟(1)中選擇的單隱層復值神經網絡模型，利用廣義逆計算所述單隱層復值神經網絡中的權值矩陣，將迭代次數初始值設置為1，利用梯度下降法計算所述單隱層復值神經網絡中的權值向量；(3)根據步驟(2)中計算出的所述權值矩陣和所述權值向量，獲取復值神經網絡網絡參數，計算當前樣本數據的均方誤差；判斷當前迭代次數是否等于最大迭代次數，若是，結束訓練；若否，將當前迭代次數加1，返回步驟(2)。

【技術特征摘要】
1.一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，其特征是：所述方法步驟包括：(1)選擇單隱層復值神經網絡模型對樣本數據集進行建模；(2)根據步驟(1)中選擇的單隱層復值神經網絡模型，利用廣義逆計算所述單隱層復值神經網絡中的權值矩陣，將迭代次數初始值設置為1，利用梯度下降法計算所述單隱層復值神經網絡中的權值向量；(3)根據步驟(2)中計算出的所述權值矩陣和所述權值向量，獲取復值神經網絡網絡參數，計算當前樣本數據的均方誤差；判斷當前迭代次數是否等于最大迭代次數，若是，結束訓練；若否，將當前迭代次數加1，返回步驟(2)。2.如權利要求1所述的一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，其特征是：所述步驟(1)中的所述單隱層復值神經網絡模型為：所述單隱層復值神經網絡模型中的輸入層、隱層和輸出層神經元個數分別為L、M和1；給定Q個輸入樣本；其樣本矩陣為Z＝(zij)L×Q、輸入樣本相應的理想輸出矩陣為D＝(d1,d2…dQ)T均為復數；第q個樣本的輸入為其中，i＝1,2…L；第q個樣本的理想輸出為dq∈C。3.如權利要求2所述的一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，其特征是：所述步驟(1)中的所述單隱層復值神經網絡模型中的所述隱層的激活函數為gc:C→C；連接輸入層和隱層的權值矩陣為W＝(wij)M×L＝WR+iWI，其中，WR為W的實部，WI為W的虛部；輸入層與第i個隱節點的連接權值記為wi＝(wi1,wi2…wiL)∈CL，其中，i＝1,2…M；連接隱層和輸出層的權值向量為V＝(v1,v2…vM)T＝VR+iVI，其中，VR為V的實部，VI為V的虛部；第k個隱節點與輸出層的連接權值記為vk∈C，其中，k＝1,2…M。4.如權利要求3所述的一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，其特征是：所述步驟(2)中的具體步驟為：(2-1)初始化輸入層到隱層的權值矩陣，獲取初始權值矩陣W0，W0在給定區間內隨機賦值；(2-2)利用梯度下降法和廣義逆計算單隱層復值神經網絡中的權值矩陣和權值向量。5.如權利要求4所述的一種基于梯度下降法與廣義逆的復值神經網絡訓練方法，其特征是：所述步驟(2-2)中的所述通過廣義逆計算隱層到輸出層的權值矩陣V的具體步驟為：(2-2a-1)根據步驟(2-1)中的所述初始權值矩陣W0與步驟(1)中的樣本矩陣Z計算隱層的輸入矩陣U＝(uij)M×Q，(2-2a-2)對矩陣步驟(2-2a-...

【專利技術屬性】
技術研發人員：桑兆陽，劉芹，龔曉玲，張華清，陳華，王健，
申請(專利權)人：中國石油大學華東，
類型：發明
國別省市：山東,37