基于棧式自編碼器的特征融合方法技術

本發明專利技術提供一種基于棧式自編碼器的特征融合方法。技術方案包括下述內容：首先，提取圖像的局部三斑塊二值模式紋理特征，利用特征選擇方法選擇并提取圖像的若干種基線特征，將得到的所有特征進行串聯得到串聯向量。然后，對串聯向量先進行標準化再進行白化。將白化后的結果作為SAE的輸入，利用逐層貪婪訓練法對SAE進行訓練。最后利用訓練好的SAE，通過softmax分類器對SAE進行微調，使得損失函數最小，SAE的輸出即為區分性高的融合特征向量。本發明專利技術選取的特征冗余性小，為特征融合提供更豐富的信息。

Since the stack encoder method based on Feature Fusion

The present invention provides a feature fusion method based on stack encoder. The technical scheme comprises the following contents: firstly, extract the image of the local two value model three plaque texture feature selection method, selection and several kinds of baseline feature extraction of image using feature, all features are series of series vector. Then, the series vectors are standardized first and then whitened. The whitening result is used as the input of SAE, and the training of SAE is implemented by layer by layer greedy training method. Finally, the trained SAE is used to fine tune the SAE through the softmax classifier, so that the loss function is minimum, and the output of SAE is the discriminative fusion feature vector. The feature redundancy of the invention is small, and provides richer information for feature fusion.

【技術實現步驟摘要】
基于棧式自編碼器的特征融合方法
本專利技術屬于圖像融合
，涉及一種基于SAE(StackedAutoencoder，棧式自編碼器)的特征融合的方法，提高了融合特征的區分度和效率。
技術介紹
特征融合是指對提取的特征信息，進行綜合分析及融合處理的技術。在圖像理解中，利用特征融合不僅可以增加圖像的特征信息，而且能有效綜合原始特征之間的優勢獲得目標更全面的特征表達。經典的特征融合算法(特征融合算法可參考文獻王大偉,陳定榮,何亦征.面向目標識別的多特征圖像融合技術綜述[J].航空電子技術,2011,42(2):6-12.)，直接把特征按照某種方式直接組合起來，沒有從本質上考慮特征間的關系對融合結果的影響，因此融合后的特征冗余性較大，區分性不高。SAE是一種無監督的學習網絡，能通過簡單的非線性模型將原始特征轉化為更為抽象的表達，進行有效的特征融合。基于SAE的特征融合，不僅能提取出原始特征中的深層互補特征，得到更具區分性的特征，同時能利用特征提取減少輸入數據的特征維度，簡化網絡結構，提高融合效率。已有的基于SAE的特征融合算法(基于SAE的特征融合算法可參考文獻ChenY,LinZ,ZhaoX,etal..DeepLearning-BasedClassificationofHyperspectralData[J].IEEEJournalofSelectedTopicsinAppliedEarthObservations&RemoteSensing,2014,7(6):2094-2107.)，選取的特征維數高，融合網絡結構復雜，訓練時間較長，無法滿足實時性的需求。另外特征之間冗余性大，互補性小，融合后特征區分度提高不明顯。
技術實現思路
本專利技術通過選取互補性高，冗余性小的特征，得到了基于SAE的特征融合方法。該方法能有效減少數據維度，簡化SAE的網絡結構，提高融合效率。同時，選取了不同屬性的特征，為融合提供了豐富的信息，提取出了更具區分性的融合特征。本專利技術的技術方案是：首先，提取圖像的TPLBP(Three-PatchLocalBinaryPatterns，局部三斑塊二值模式)紋理特征，利用特征選擇方法選擇并提取圖像的若干種基線特征，將得到的所有特征進行串聯得到串聯向量。然后，對串聯向量先進行標準化再進行白化。將白化后的結果作為SAE的輸入，利用逐層貪婪訓練法對SAE進行訓練。最后利用訓練好的SAE，通過softmax分類器對SAE進行微調，使得損失函數最小，SAE的輸出即為區分性高的融合特征向量。本專利技術的有益效果是：1.本專利技術選取了基線特征和TPLBP特征進行組合，基線特征描述了圖像的幾何結構特性，TPLBP特征描述了圖像的局部紋理，不同屬性的兩種特征互補性大，冗余性小，為特征融合提供更豐富的信息。2.本專利技術設計的SAE結構，通過特征提取，改變了原始特征的空間分布，能有效增加原始特征之間的類間距離，減小類內距離，使融合后的分類精度有較大的提升。3.本專利技術提出的技術方案，將228維的串聯特征而不是整幅圖像作為SAE輸入，在有效融合特征的同時，簡化了SAE結構，有效減少了網絡訓練時間和測試時間，融合效率得到有效提升。附圖說明圖1為本專利技術實驗數據MSTAR數據集示例；圖2為本專利技術流程圖；圖3為本專利技術融合特征分布變化圖；圖4為本專利技術實驗結果對比圖。具體實施方式本專利技術實驗數據為MSTAR數據集，該數據集包括BMP2,BRDM2,BTR60,BTR70,D7,T62,T72,ZIL131,ZSU234,2S1等10類軍事目標的SAR(syntheticapertureradar，合成孔徑雷達)圖像切片，圖1中給出10類軍事目標的切片示例，切片大小統一裁剪為128×128像素。圖2為本專利技術流程圖，結合本專利技術的某一實驗，具體實施步驟如下：第一步，提取圖像的TPLBP(Three-PatchLocalBinaryPatterns，局部三斑塊二值模式)紋理特征。對原始圖像利用LBP(LocalBinaryPatterns，局部二值模式)算子得到其LBP碼值，再通過對比圖像塊之間的LBP值，得到TPLBP碼值，統計TPLBP碼值得到直方圖向量，再將其串接成圖像的128維TPLBP紋理特征向量征。利用特征選擇方法選擇并提取圖像的若干種基線特征。首先，對圖像進行能量檢測，將其二值化之后，得到二值圖像，再對二值圖像進行膨脹，得到連通圖像，分別提取二值圖像和連通圖像的若干基線特征。再利用F-score(Fisherscore)的方法，計算基線特征的類間和類內的區分性，最后根據每種基線特征的F-score值的大小對基線特征進行排序。為減小特征維度，去掉F-score值較小的特征，選取25種基線特征串聯成100維基線特征向量(見表1)，再與TPLBP特征串聯，得到228維串聯向量。通常基線特征的提取數目根據實際應用情況確定。本實施例選25種基線特征。每種基線特征的維數是由該種基線特征的基本性質決定的，如面積特征為1維，質心特征2維等。表1基線特征第二步，對串聯向量先進行標準化再進行白化。將串聯向量X減去其均值進行標準化，再利用ZCA對標準化后的向量進行白化，得到白化后的向量為XZCAWhite＝TX,其中T＝UP-(1/2)UT，U和P是串聯向量的協方差矩陣的特征向量和特征值，x(i)表示串聯向量X的第i維的值，M表示串聯向量X的維度，本實施例選M＝228。第三步，將白化后的向量作為SAE的輸入，利用逐層貪婪訓練法對SAE進行訓練。首先訓練第一層SAE，利用梯度下降法使代價函數收斂到最優解，將隱層學習到的特征作為第二層自編碼器的輸入，固定第一層的網絡權值，訓練第二層網絡，依次訓練好SAE的每一層。第四步，利用訓練好的網絡，通過softmax分類器對SAE進行微調，使得損失函數最小，得到區分性高的融合特征向量。本實施例中最后得到的融合特征向量是145維向量。圖3為本專利技術的特征分布對比圖，(a)為串聯向量在二維空間中的分布，利用本專利技術的第一步得到串聯向量；(b)為本專利技術方法得到的融合特征向量在二維空間中的分布。在MSTAR數據集的基礎上，利用本專利技術得到圖1中的10幅圖像(即10類軍事目標)的融合特征向量，再將融合特征向量與串聯向量在二維空間分別進行可視化。由圖3可看出，串聯向量在二維空間中類間存在混疊，類內數據分散。10類目標的特征混疊分布在5個區域內。而本專利技術得到的10類目標的融合特征向量在二維空間中分布在相對分散的10個區域，其類間距離更大，類內更緊湊，因此區分性更好。圖3表明本專利技術采用的SAE，利用其非線性表達能力從輸入數據中挖掘了更有效的信息，將特征進行深度融合，改變了原始特征的空間分布，從而提升了融合特征的區分性。圖4為本專利技術實驗結果對比圖。圖中表明特征融合前后的目標識別精度對比，橫坐標為10類軍事目標，縱坐標表示每一類目標對應的識別精度，其中基線特征(100維)和TPLBP特征(128維)得到的目標識別精度分別用帶星號的虛線和帶四邊形的點虛線表示，利用本專利技術融合特征向量(145維)得到的識別精度帶圈實線表示。為探究本專利技術的有效性，分別利用基線特征、紋理特征作為含兩個隱層的SAE的訓練樣本，進行目標識別，再與融合特征向本文檔來自技高網...

【技術保護點】
一種基于棧式自編碼器的特征融合方法，其特征在于包括下述步驟：首先，提取圖像的局部三斑塊二值模式紋理特征，并利用特征選擇方法選擇并提取圖像的若干種基線特征，將得到的所有特征進行串聯得到串聯向量；然后，對串聯向量先進行標準化再進行白化；將白化后的結果作為SAE的輸入，利用逐層貪婪訓練法對SAE進行訓練；最后利用訓練好的SAE，通過softmax分類器對SAE進行微調，使得損失函數最小，SAE的輸出即為區分性高的融合特征向量；上述SAE是指棧式自編碼器。

【技術特征摘要】
1.一種基于棧式自編碼器的特征融合方法，其特征在于包括下述步驟：首先，提取圖像的局部三斑塊二值模式紋理特征，并利用特征選擇方法選擇并提取圖像的若干種基線特征，將得到的所有特征進行串聯得到串聯向量；然后，對串聯向量先進行標準化再進...

【專利技術屬性】
技術研發人員：計科峰，康妙，冷祥光，鄒煥新，雷琳，孫浩，李智勇，周石琳，
申請(專利權)人：中國人民解放軍國防科學技術大學，
類型：發明
國別省市：湖南,43