深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法和電子設(shè)備技術(shù)

本發(fā)明專利技術(shù)提供一種深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法和電子設(shè)備，其中的方法包括：(a)對(duì)多張?jiān)歼b感圖像進(jìn)行處理生成數(shù)據(jù)集；(b)構(gòu)建深度遞歸殘差網(wǎng)絡(luò)模型；(c)利用所述步驟(a)中得到的所述數(shù)據(jù)集對(duì)所述步驟(b)中得到的所述深度遞歸殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型；(d)利用所述完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型對(duì)待融合遙感圖像進(jìn)行融合得到融合圖像。本發(fā)明專利技術(shù)能夠利用殘差網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)的優(yōu)勢，通過端到端的網(wǎng)絡(luò)設(shè)計(jì)，學(xué)習(xí)到深層次網(wǎng)絡(luò)豐富的圖像特征，在提高空間分辨率的同時(shí)盡可能地保留原始低分辨率多光譜圖像的光譜信息，而且很好地改善了傳統(tǒng)方法存在的光譜失真現(xiàn)象。

【技術(shù)實(shí)現(xiàn)步驟摘要】
深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法和電子設(shè)備
本專利技術(shù)涉及遙感圖像融合領(lǐng)域，具體涉及一種深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法和電子設(shè)備。
技術(shù)介紹
在遙感領(lǐng)域，隨著成像系統(tǒng)和衛(wèi)星技術(shù)的發(fā)展，發(fā)射的衛(wèi)星數(shù)量越來越多，獲得的衛(wèi)星圖像數(shù)據(jù)也越來越多。為了更全面地分析衛(wèi)星采集到的圖像，就需要運(yùn)用到遙感圖像融合技術(shù)。目前常見的光學(xué)衛(wèi)星通常會(huì)提供兩種類型的遙感圖像：光譜信息豐富但空間分辨率低的多光譜圖像(MultispectralImage,MS)和空間細(xì)節(jié)豐富但只有灰度信息的全色圖像(PanchromaticImage,PAN)。目前，傳統(tǒng)的圖像融合方法已獲得豐富的研究成果，主要包括成分替換法和多分辨率分析法，但由于傳統(tǒng)的方法將融合過程簡單地模擬成線性模型，所以最終的融合結(jié)果往往會(huì)存在光譜失真現(xiàn)象。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，最近出現(xiàn)了基于深度學(xué)習(xí)的圖像融合研究，但目前這方面的研究并不多。深度學(xué)習(xí)通過引入激活函數(shù)形成高度非線性轉(zhuǎn)換，可以在一定程度上改善傳統(tǒng)方法的效果。在現(xiàn)有的基于深度學(xué)習(xí)的圖像融合研究中，有些是某個(gè)步驟用了深度學(xué)習(xí)，然后再結(jié)合傳統(tǒng)融合方法，沒有完全擺脫傳統(tǒng)融合方法的局限，不能實(shí)現(xiàn)端到端的圖像融合過程；有些端到端的網(wǎng)絡(luò)還存在網(wǎng)絡(luò)層次較淺不能提取到更深層次的圖像特征、直接學(xué)習(xí)輸入到輸出的關(guān)系導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)困難、模型較大導(dǎo)致測試?yán)щy等問題。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)旨在提供一種深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法、電子設(shè)備，以解決改善傳統(tǒng)圖像融合方法存在光譜失真，現(xiàn)有深度學(xué)習(xí)融合方法的網(wǎng)絡(luò)比較簡單難以學(xué)習(xí)到深層次的特征的技術(shù)問題，本專利技術(shù)提供的上述方法適用于全色圖像和多光譜圖像空譜融合中，具有較好的融合效果。本專利技術(shù)實(shí)現(xiàn)上述目的的技術(shù)方案為：一種深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，包括以下步驟：(a)生成數(shù)據(jù)集：獲取多張?jiān)歼b感圖像并對(duì)多張?jiān)歼b感圖像進(jìn)行處理，得到多個(gè)具有對(duì)應(yīng)關(guān)系的低分辨率圖像塊和原始多光譜圖像塊，其中每一所述遙感圖像包括多光譜圖像和全色圖像；(b)構(gòu)建深度遞歸殘差網(wǎng)絡(luò)模型，包括：(b1)在殘差網(wǎng)絡(luò)學(xué)習(xí)模型中的恒等分支使用全局殘差學(xué)習(xí)；在殘差網(wǎng)絡(luò)模型中的殘差分支中構(gòu)造包括多個(gè)局部殘差單元的遞歸塊以得到遞歸殘差學(xué)習(xí)分支；(b2)所述恒等分支使用的全局殘差和所述遞歸殘差學(xué)習(xí)分支中包含的局部殘差同時(shí)用于學(xué)習(xí)低空間分辨率多光譜圖像與高空間分辨率多光譜圖像之間的殘差；將所述恒等分支和所述遞歸殘差學(xué)習(xí)分支的學(xué)習(xí)結(jié)果相融合后得到融合圖像；由此得到深度遞歸殘差網(wǎng)絡(luò)模型；(c)利用所述步驟(a)中得到的數(shù)據(jù)集對(duì)所述步驟(b)中得到的所述深度遞歸殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型；(d)利用所述完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型對(duì)待融合遙感圖像進(jìn)行融合得到融合圖像。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，在所述步驟(b1)中，在所述遞歸殘差學(xué)習(xí)分支中，通過在所述殘差分支構(gòu)建遞歸塊增加殘差分支的網(wǎng)絡(luò)層數(shù)，其中殘差分支中的多個(gè)網(wǎng)絡(luò)層之間具有相同的權(quán)重參數(shù)。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，在所述步驟(b)中得到的深度遞歸殘差網(wǎng)絡(luò)模型的步驟中：一層網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)學(xué)習(xí)模型的數(shù)據(jù)前向傳遞過程如公式(I)所示:xl+1＝F(xl,wl)+xl(I)其中，xl為恒等分支，F(xiàn)(xl,wl)為一層網(wǎng)絡(luò)的殘差分支輸出，xl+1為一層網(wǎng)絡(luò)的網(wǎng)絡(luò)輸出。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，在所述步驟(b)中得到的深度遞歸殘差網(wǎng)絡(luò)模型的步驟中：L層網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)學(xué)習(xí)模型的數(shù)據(jù)前向傳遞過程如公式(II)所示：其中，xi為第i層網(wǎng)絡(luò)的恒等分支，wi為第i層網(wǎng)絡(luò)的權(quán)重參數(shù)，為殘差分支輸出，xL為網(wǎng)絡(luò)輸出；梯度反向傳遞的過程如公式(III)所示，其中，表示損失函數(shù)到達(dá)中間層L的梯度；1表示恒等分支可以無損地傳播梯度；表示殘差梯度，其需要經(jīng)過帶權(quán)重的網(wǎng)絡(luò)層，且殘差梯度不會(huì)恰好為-1。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，在所述步驟(b)中得到的深度遞歸殘差網(wǎng)絡(luò)模型的步驟中：所示公式(II)中的殘差分支中，使用多個(gè)局部殘差單元堆疊在一起，且多個(gè)局部殘差單元之間共享權(quán)重。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，在所述步驟(b2)中得到的深度遞歸殘差網(wǎng)絡(luò)模型的步驟中：將所述恒等分支和所述遞歸殘差學(xué)習(xí)分支的學(xué)習(xí)結(jié)果相融合的過程如公式(IV)表示：其中，k表示波段數(shù)，表示上采樣到與PAN具有相同空間分辨率的MS圖像，表示融合圖像，Dk表示MS圖像第k個(gè)波段空間細(xì)節(jié)信息的補(bǔ)充。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，在所述步驟c中：對(duì)所述深度遞歸殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的過程使用隨機(jī)梯度下降和反向傳播，約束損失函數(shù)最優(yōu)化網(wǎng)絡(luò)結(jié)果，得到完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型；其中：損失函數(shù)通過公式(V)表示：其中，Loss表示損失結(jié)果，Hn表示深度遞歸殘差網(wǎng)絡(luò)模型最后一層網(wǎng)絡(luò)的輸出結(jié)果，Gt表示原始遙感圖像的真實(shí)值。可選地，上述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法中，所述步驟(a)中對(duì)多張?jiān)歼b感圖像進(jìn)行處理的步驟包括：對(duì)多張?jiān)歼b感圖像依次進(jìn)行圖像預(yù)處理、重采樣處理、重疊剪裁處理和格式轉(zhuǎn)換處理；其中：所述圖像預(yù)處理步驟包括正射校正和影像配準(zhǔn)處理；所述重采樣處理包括：全色圖像下采樣，多光譜圖像先下采樣再上采樣；所述重疊剪裁處理包括：將經(jīng)過圖像預(yù)處理后的原始多光譜遙感圖像裁剪為32像素×32像素大小的圖像塊作為原始多光譜圖像塊，相鄰圖像塊的重疊率為50％±10％；將經(jīng)過圖像預(yù)處理和重采樣處理后的遙感圖像裁剪為32像素×32像素大小的圖像塊作為低分辨率圖像塊，相鄰圖像塊的重疊率為50％±10％；所述格式轉(zhuǎn)換處理包括將所述低分辨率圖像塊和原始多光譜圖像塊轉(zhuǎn)換成HDF5Data類型的.h5文件，所述.h5文件包括data部分和label部分，data部分包括低分辨率圖像塊，label部分包括原始多光譜圖像塊。基于同一專利技術(shù)構(gòu)思，本專利技術(shù)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有程序指令，計(jì)算機(jī)讀取所述程序指令后執(zhí)行以上任一項(xiàng)方案所述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法。基于同一專利技術(shù)構(gòu)思，本專利技術(shù)還提供一種電子設(shè)備，包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器：至少一個(gè)所述存儲(chǔ)器中存儲(chǔ)有程序指令，至少一個(gè)所述處理器讀取所述程序指令后執(zhí)行以上任一項(xiàng)方案所述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法。本專利技術(shù)提供的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，至少具有如下有益效果：本專利技術(shù)中的方案通過設(shè)計(jì)深層次遞歸殘差網(wǎng)絡(luò)學(xué)習(xí)模型，利用殘差網(wǎng)絡(luò)學(xué)習(xí)低空間分辨率多光譜圖像與高空間分辨率多光譜圖像之間的殘差，加快網(wǎng)絡(luò)的收斂速度，同時(shí)殘差網(wǎng)絡(luò)可以很好地解決深層次網(wǎng)絡(luò)容易出現(xiàn)的梯度消失和梯本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，其特征在于，包括以下步驟：/n(a)生成數(shù)據(jù)集：獲取多張?jiān)歼b感圖像并對(duì)多張?jiān)歼b感圖像進(jìn)行處理，得到多個(gè)具有對(duì)應(yīng)關(guān)系的低分辨率圖像塊和原始多光譜圖像塊，其中每一所述遙感圖像包括多光譜圖像和全色圖像；/n(b)構(gòu)建深度遞歸殘差網(wǎng)絡(luò)模型，包括：/n(b1)在殘差網(wǎng)絡(luò)學(xué)習(xí)模型中的恒等分支使用全局殘差學(xué)習(xí)；在殘差網(wǎng)絡(luò)模型中的殘差分支中構(gòu)造包括多個(gè)局部殘差單元的遞歸塊以得到遞歸殘差學(xué)習(xí)分支；/n(b2)所述恒等分支使用的全局殘差和所述遞歸殘差學(xué)習(xí)分支中包含的局部殘差同時(shí)用于學(xué)習(xí)低空間分辨率多光譜圖像與高空間分辨率多光譜圖像之間的殘差；將所述恒等分支和所述遞歸殘差學(xué)習(xí)分支的學(xué)習(xí)結(jié)果相融合后得到融合圖像；由此得到深度遞歸殘差網(wǎng)絡(luò)模型；/n(c)利用所述步驟(a)中得到的數(shù)據(jù)集對(duì)所述步驟(b)中得到的所述深度遞歸殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型；/n(d)利用所述完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型對(duì)待融合遙感圖像進(jìn)行融合得到融合圖像。/n

【技術(shù)特征摘要】
1.一種深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，其特征在于，包括以下步驟：
(a)生成數(shù)據(jù)集：獲取多張?jiān)歼b感圖像并對(duì)多張?jiān)歼b感圖像進(jìn)行處理，得到多個(gè)具有對(duì)應(yīng)關(guān)系的低分辨率圖像塊和原始多光譜圖像塊，其中每一所述遙感圖像包括多光譜圖像和全色圖像；
(b)構(gòu)建深度遞歸殘差網(wǎng)絡(luò)模型，包括：
(b1)在殘差網(wǎng)絡(luò)學(xué)習(xí)模型中的恒等分支使用全局殘差學(xué)習(xí)；在殘差網(wǎng)絡(luò)模型中的殘差分支中構(gòu)造包括多個(gè)局部殘差單元的遞歸塊以得到遞歸殘差學(xué)習(xí)分支；
(b2)所述恒等分支使用的全局殘差和所述遞歸殘差學(xué)習(xí)分支中包含的局部殘差同時(shí)用于學(xué)習(xí)低空間分辨率多光譜圖像與高空間分辨率多光譜圖像之間的殘差；將所述恒等分支和所述遞歸殘差學(xué)習(xí)分支的學(xué)習(xí)結(jié)果相融合后得到融合圖像；由此得到深度遞歸殘差網(wǎng)絡(luò)模型；
(c)利用所述步驟(a)中得到的數(shù)據(jù)集對(duì)所述步驟(b)中得到的所述深度遞歸殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型；
(d)利用所述完成訓(xùn)練的深度遞歸殘差網(wǎng)絡(luò)模型對(duì)待融合遙感圖像進(jìn)行融合得到融合圖像。


2.根據(jù)權(quán)利要求1所述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，其特征在于：
在所述步驟(b1)中，在所述遞歸殘差學(xué)習(xí)分支中，通過在所述殘差分支構(gòu)建遞歸塊增加殘差分支的網(wǎng)絡(luò)層數(shù)，其中殘差分支中的多個(gè)網(wǎng)絡(luò)層之間具有相同的權(quán)重參數(shù)。


3.根據(jù)權(quán)利要求2所述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，其特征在于，在所述步驟(b)中得到深度遞歸殘差網(wǎng)絡(luò)模型的步驟中：
一層網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)學(xué)習(xí)模型的數(shù)據(jù)前向傳遞過程如公式(I)所示:
xl+1＝F(xl,wl)+xl(I)
其中，xl為恒等分支，F(xiàn)(xl,wl)為一層網(wǎng)絡(luò)的殘差分支輸出，xl+1為一層網(wǎng)絡(luò)的網(wǎng)絡(luò)輸出。


4.根據(jù)權(quán)利要求3所述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，其特征在于，在所述步驟(b)中得到深度遞歸殘差網(wǎng)絡(luò)模型的步驟中：
L層網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)學(xué)習(xí)模型的數(shù)據(jù)前向傳遞過程如公式(II)所示：



其中，xi為第i層網(wǎng)絡(luò)的恒等分支，wi為第i層網(wǎng)絡(luò)的權(quán)重參數(shù)，為殘差分支輸出，xL為網(wǎng)絡(luò)輸出；
梯度反向傳遞的過程如公式(III)所示：



其中，表示損失函數(shù)到達(dá)中間層L的梯度；1表示恒等分支可以無損地傳播梯度；表示殘差梯度，其需要經(jīng)過帶權(quán)重的網(wǎng)絡(luò)層，且殘差梯度不會(huì)恰好為-1。


5.根據(jù)權(quán)利要求4所述的深度遞歸殘差網(wǎng)絡(luò)的遙感圖像空譜融合方法，其特征在于，在所述步驟(b)中得到深度遞歸殘差網(wǎng)絡(luò)模型的步驟中...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郭擎，王芬，葛小青，李安，張洪群，韋宏衛(wèi)，
申請(專利權(quán))人：中國科學(xué)院遙感與數(shù)字地球研究所，
類型：發(fā)明
國別省市：北京;11