圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建方法技術(shù)

一種圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建方法，由構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測試步驟組成。構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的步驟為：獲得訓(xùn)練樣本圖像和測試樣本圖像并對其進(jìn)行預(yù)處理、設(shè)定卷積神經(jīng)網(wǎng)絡(luò)初始結(jié)構(gòu)、引入激活函數(shù)、確定池化方法、確定濾波器、確定卷積層個數(shù)，得到圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試步驟為：用K?Means聚類方法獲得含有20個特征圖的卷積層的濾波器，經(jīng)前向傳播和反向傳播更新網(wǎng)絡(luò)權(quán)值矩陣至最大訓(xùn)練次數(shù)，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，對測試樣本圖像進(jìn)行測試，得到驗證后的圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有構(gòu)建方法簡單、有效等優(yōu)點，適用于門牌號碼、手寫數(shù)字、郵政編碼等圖像分類。

Construction method of image classification convolution neural network structure

A method of constructing image classification convolution neural network consists of constructing convolutional neural network structure, training and testing steps of convolutional neural network. Construction of convolutional neural network comprises the following steps: acquire the training sample and test sample image and the image pre-processing, setting the initial structure, convolutional neural network is introduced to determine the activation function, pooling method, determine the filter, determine the number of image convolution layer, classified convolutional neural network structure; convolutional neural network training and the test method comprises the following steps: obtaining filter volume laminated contains 20 feature maps using K Means clustering method, the propagation and back propagation network update weight matrix to the maximum number of training, training the convolution neural network to the testing sample image, image classification of convolutional neural network structure after verification the construction, has the advantages of simple and effective method, suitable for numbers, handwriting recognition, image classification and post encoding.

【技術(shù)實現(xiàn)步驟摘要】
圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建方法
本專利技術(shù)屬于圖像處理及模式識別
，具體涉及到適用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
技術(shù)介紹
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。它通過模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像、聲音和文本，其核心是通過構(gòu)建具有多個隱層的機(jī)器學(xué)習(xí)模型和大量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。現(xiàn)有的LeNet-5、AlexNet、GoogLeNet、ResNet等代表性網(wǎng)絡(luò)都是基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。其中，LeNet-5由7層組成，其1、3、5層為卷積層，2、4層為池化層；AlexNet由8層組成，其前5層是卷積層，后3層是全連接層；GoogLeNet由22層組成，其中有21個卷積層，1個全連接層；ResNet由152層組成，其中有151個卷積層，最后一層為全連接層。這些網(wǎng)絡(luò)模型都是在卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，通過加深網(wǎng)絡(luò)深度完成對網(wǎng)絡(luò)模型的改進(jìn)。此外，還有人提出將卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法與其它思想或方法相結(jié)合，如隱馬爾科夫模型(HiddenMarkovModel,HMM)與CNN相結(jié)合的混合模型，快速PCA和CNN相結(jié)合的模型等。上述基于神經(jīng)網(wǎng)絡(luò)在圖像分類方法中所存在的主要技術(shù)問題是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計過程中，關(guān)于濾波器個數(shù)和大小、池化方法、激活函數(shù)往往是依賴經(jīng)驗確定，不恰當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)會極大地增加網(wǎng)絡(luò)參數(shù)個數(shù)，導(dǎo)致網(wǎng)絡(luò)計算復(fù)雜度增加。
技術(shù)實現(xiàn)思路
本專利技術(shù)所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的缺點，提供一種結(jié)構(gòu)簡單、易實現(xiàn)、收斂速度快的圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建方法。解決上述技術(shù)問題所采用的技術(shù)方案是由構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測試步驟組成，所述的構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)步驟如下：(1)獲得訓(xùn)練樣本圖像和測試樣本圖像并對其進(jìn)行預(yù)處理(a)從圖像數(shù)據(jù)集中選取50400～73257張訓(xùn)練樣本圖像和6000～26032張測試樣本圖像；(b)對50400～73257張訓(xùn)練樣本圖像進(jìn)行預(yù)處理包括圖像灰度化、圖像減均值步驟：圖像灰度化：用(1)式對被訓(xùn)練的樣本圖像進(jìn)行灰度化處理，將彩色圖像轉(zhuǎn)為灰度圖像：I＝W1×R+W2×G+W3×B(1)式中I為灰度化后的圖像，R為彩色圖像的紅色分量，G為彩色圖像的綠色分量，B為彩色圖像的藍(lán)色分量，W1為彩色圖像的紅色分量的權(quán)重，W2為彩色圖像的綠色分量的權(quán)重，W3為彩色圖像的藍(lán)色分量的權(quán)重。圖像減均值：用(2)式對已被灰度化的訓(xùn)練樣本圖像進(jìn)行減均值處理：式中Z為減均值后的圖像，vi為n個圖像中的第i個圖像的像素矩陣，n為50400～73257整數(shù)個圖像。(c)對6000～26032張測試樣本圖像進(jìn)行預(yù)處理測試樣本圖像的預(yù)處理與對訓(xùn)練樣本進(jìn)行預(yù)處理步驟(b)相同。(2)設(shè)定卷積神經(jīng)網(wǎng)絡(luò)初始結(jié)構(gòu)設(shè)定卷積神經(jīng)網(wǎng)絡(luò)初始結(jié)構(gòu)：輸入層(1)是50400～73257張大小為28×28或32×32的訓(xùn)練樣本圖像，輸入層(1)后連接含有20個特征圖的卷積層(2)，含有20個特征圖的卷積層(2)后連接含有20個特征圖的池化層(3)，含有20個特征圖的池化層(3)后連接含有64個特征圖的卷積層(2)，含有64個特征圖的卷積層(2)后連接含有64個特征圖的池化層(3)，含有64個特征圖的池化層(3)后連接含有500個特征圖的卷積層(2)，含有500個特征圖的卷積層(2)后連接全連接層(4)，全連接層(4)后連接輸出層(5)。(3)引入激活函數(shù)在每個卷積層(2)后引入ReLu激活函數(shù)為：yi＝max{xi,0}(3)式中xi為與前一層輸出相連的第i個權(quán)值矩陣與當(dāng)前層輸入的內(nèi)積，即卷積結(jié)果，yi為第i個特征圖的輸出，20≤i≤500。(4)確定池化方法卷積神經(jīng)網(wǎng)絡(luò)中的池化層(3)選用最大池化方法或均值池化方法或隨機(jī)池化方法進(jìn)行池化。(5)確定濾波器在3×3～9×9方陣之間、以圖像寬度28或32為步長，在20～500內(nèi)進(jìn)行網(wǎng)格搜索，得到濾波器，為卷積層(2)的權(quán)值矩陣，濾波器的大小在3×3～9×9方陣之間，個數(shù)在20～500之間。(6)確定卷積層(2)個數(shù)在含有20個特征圖的池化層(3)后增加一層卷積層(2)，其濾波器大小和個數(shù)與含有20個特征圖的卷積層(2)的濾波器大小和個數(shù)相同，通過式(4)得到該卷積層(2)特征圖的大小，在含有64個特征圖的池化層(3)后增加或不增加一層卷積層(2)，若增加一層卷積層，其濾波器大小和個數(shù)與含有64個特征圖的卷積層(2)的濾波器大小和個數(shù)相同，通過式(4)得到該卷積層(2)特征圖的大小，卷積層(2)個數(shù)為3～5層，選擇使得卷積神經(jīng)網(wǎng)絡(luò)對所選測試樣本圖像6000～26032張分類效果最好時的卷積層(2)個數(shù)，得到圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：o＝I*－m+1(4)式中I*為本層輸入矩陣的長，m為濾波器的像素矩陣長，o為卷積層(2)特征圖的像素矩陣長。上述的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試步驟為：(1)用K-Means聚類方法獲得含有20個特征圖的卷積層(2)的權(quán)值矩陣(a)從訓(xùn)練集中隨機(jī)選取N個m×m矩陣大小的圖像塊，N為所選取圖像塊有限的正整數(shù)，m為3～9含有20個特征圖的卷積層(2)的濾波器的像素矩陣長。(b)用式(5)對步驟(a)中所選取的N個圖像塊中的每一個圖像塊進(jìn)行歸一化處理：式中x*為m×m矩陣大小的圖像塊，μ為N個圖像塊的平均值，σ為N個圖像塊的標(biāo)準(zhǔn)差，x表示經(jīng)過歸一化后的結(jié)果。(c)以式(6)為目標(biāo)函數(shù)，對上步得到的圖像塊進(jìn)行10次K-Means聚類方法，取其中目標(biāo)函數(shù)值最小的一次所得到的20個聚類中心，作為含有20個特征圖的卷積層(2)的濾波器初始化值：式中k為20是聚類個數(shù)，s表示圖像塊的類別數(shù)，xj為第i類別中的圖像塊，為第i類的樣本均值，i為1～20的整數(shù)。(2)將預(yù)處理后的50400～73257張訓(xùn)練樣本圖像輸入圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)過前向傳播和反向傳播兩個步驟反復(fù)循環(huán)更新網(wǎng)絡(luò)的權(quán)值矩陣，直至達(dá)到30～70次數(shù)，訓(xùn)練過程結(jié)束，得到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)。(3)將預(yù)處理后的6000～26032張測試樣本圖像輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行測試，得到驗證后的圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在本專利技術(shù)的構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)步驟的設(shè)定卷積神經(jīng)網(wǎng)絡(luò)初始結(jié)構(gòu)步驟(2)中，本專利技術(shù)的輸入層(1)的圖像大小為28×28或32×32。在本專利技術(shù)的構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)步驟的確定池化方法步驟(4)中，卷積神經(jīng)網(wǎng)絡(luò)中的池化層(3)選用最大池化方法進(jìn)行池化。在本專利技術(shù)的構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)步驟的確定濾波器步驟(5)中，濾波器的大小分別為9×9、5×5、4×4，以圖像寬度32為步長，濾波器的個數(shù)分別為20、64、500，得到濾波器，為卷積層(2)的權(quán)值矩陣。在本專利技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試步驟的用K-Means聚類方法獲得含有20個特征圖的卷積層(2)的權(quán)值矩陣步驟(1)中的(a)步驟為：從訓(xùn)練集中隨機(jī)選取N個m×m矩陣大小的圖像塊，N為所選取的400000圖像塊，m為含有20個特征圖的卷積層(2)的濾波器的像素矩陣長。本專利技術(shù)采用了引入激活函數(shù)、確定池化方法、確定濾波器以及確定卷積層個數(shù)的方法構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并采用了K-Means聚類方法獲得含有20個特征圖的卷積層的濾波器，改進(jìn)了卷積神經(jīng)網(wǎng)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建方法，由構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測試步驟組成，其特征在于所述的構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)步驟如下：(1)獲得訓(xùn)練樣本圖像和測試樣本圖像并對其進(jìn)行預(yù)處理(a)從圖像數(shù)據(jù)集中選取50400～73257張訓(xùn)練樣本圖像和6000～26032張測試樣本圖像；(b)對50400～73257張訓(xùn)練樣本圖像進(jìn)行預(yù)處理包括圖像灰度化、圖像減均值步驟：圖像灰度化：用(1)式對被訓(xùn)練的樣本圖像進(jìn)行灰度化處理，將彩色圖像轉(zhuǎn)為灰度圖像：I＝W1×R+W2×G+W3×B????????(1)式中I為灰度化后的圖像，R為彩色圖像的紅色分量，G為彩色圖像的綠色分量，B為彩色圖像的藍(lán)色分量，W1為彩色圖像的紅色分量的權(quán)重，W2為彩色圖像的綠色分量的權(quán)重，W3為彩色圖像的藍(lán)色分量的權(quán)重；圖像減均值：用(2)式對已被灰度化的訓(xùn)練樣本圖像進(jìn)行減均值處理：

【技術(shù)特征摘要】
1.一種圖像分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建方法，由構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測試步驟組成，其特征在于所述的構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)步驟如下：(1)獲得訓(xùn)練樣本圖像和測試樣本圖像并對其進(jìn)行預(yù)處理(a)從圖像數(shù)據(jù)集中選取50400～73257張訓(xùn)練樣本圖像和6000～26032張測試樣本圖像；(b)對50400～73257張訓(xùn)練樣本圖像進(jìn)行預(yù)處理包括圖像灰度化、圖像減均值步驟：圖像灰度化：用(1)式對被訓(xùn)練的樣本圖像進(jìn)行灰度化處理，將彩色圖像轉(zhuǎn)為灰度圖像：I＝W1×R+W2×G+W3×B(1)式中I為灰度化后的圖像，R為彩色圖像的紅色分量，G為彩色圖像的綠色分量，B為彩色圖像的藍(lán)色分量，W1為彩色圖像的紅色分量的權(quán)重，W2為彩色圖像的綠色分量的權(quán)重，W3為彩色圖像的藍(lán)色分量的權(quán)重；圖像減均值：用(2)式對已被灰度化的訓(xùn)練樣本圖像進(jìn)行減均值處理：式中Z為減均值后的圖像，vi為n個圖像中的第i個圖像的像素矩陣，n為50400～73257整數(shù)個圖像；(c)對6000～26032張測試樣本圖像進(jìn)行預(yù)處理測試樣本圖像的預(yù)處理與對訓(xùn)練樣本進(jìn)行預(yù)處理步驟(b)相同；(2)設(shè)定卷積神經(jīng)網(wǎng)絡(luò)初始結(jié)構(gòu)設(shè)定卷積神經(jīng)網(wǎng)絡(luò)初始結(jié)構(gòu)：輸入層(1)是50400～73257張大小為28×28或32×32的訓(xùn)練樣本圖像，輸入層(1)后連接含有20個特征圖的卷積層(2)，含有20個特征圖的卷積層(2)后連接含有20個特征圖的池化層(3)，含有20個特征圖的池化層(3)后連接含有64個特征圖的卷積層(2)，含有64個特征圖的卷積層(2)后連接含有64個特征圖的池化層(3)，含有64個特征圖的池化層(3)后連接含有500個特征圖的卷積層(2)，含有500個特征圖的卷積層(2)后連接全連接層(4)，全連接層(4)后連接輸出層(5)；(3)引入激活函數(shù)在每個卷積層(2)后引入ReLu激活函數(shù)為：yi＝max{xi,0}(3)式中xi為與前一層輸出相連的第i個權(quán)值矩陣與當(dāng)前層輸入的內(nèi)積，即卷積結(jié)果，yi為第i個特征圖的輸出，20≤i≤500；(4)確定池化方法卷積神經(jīng)網(wǎng)絡(luò)中的池化層(3)選用最大池化方法或均值池化方法或隨機(jī)池化方法進(jìn)行池化；(5)確定濾波器在3×3～9×9方陣之間、以圖像寬度28或32為步長，在20～500內(nèi)進(jìn)行網(wǎng)格搜索，得到濾波器，為卷積層(2)的權(quán)值矩陣，濾波器的大小在3×3～9×9方陣之間，個數(shù)在20～500之間；(6)確定卷積層(2)個數(shù)在含有20個特征圖的池化層(3)后增加一層卷積層(2)，其濾波器大小和個數(shù)與含有20個特征圖的卷積層(2)的濾波器大小和個數(shù)相同，通過式(4)得到該卷積層(2)特征圖的大小，在含有64個特征圖的池化層(3)后增加或不增加一層卷積層(2)，若增加一層卷積層，其濾波器大小和個數(shù)與含有64個特征圖的卷積層(2)的濾波器大小和個數(shù)相同，通過式(4)得到該卷積層(2)特征圖的大小，卷積層(2)個...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馬苗，劉琳，武杰，陳昱蒞，裴炤，
申請(專利權(quán))人：陜西師范大學(xué)，
類型：發(fā)明
國別省市：陜西,61