基于上下文信息聚合和融合特征注意力的圖像去霧方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于上下文信息聚合和融合特征注意力的圖像去霧方法，包括以下步驟：針對帶霧圖像，通過編碼器提取圖像的淺層特征；依據(jù)淺層特征，通過信息融合子網(wǎng)進(jìn)行上下文信息聚合；通過解碼器還原圖像，獲得去霧后的圖像。本發(fā)明專利技術(shù)基于深度學(xué)習(xí)的方法，使用平滑擴(kuò)張卷積替代傳統(tǒng)的擴(kuò)張卷積減小產(chǎn)生的網(wǎng)格偽影，通過融合特征注意力機(jī)制，對通道注意和像素級注意加權(quán)，能解決場景霧度不均勻、通道霧度不均造成去霧圖像估計(jì)不準(zhǔn)確的問題。此外采用一個自編碼器的結(jié)構(gòu)，使用上下文信息聚合網(wǎng)絡(luò)融合不同層次的特征，形成一種獨(dú)特的單幅圖像去霧方法。幅圖像去霧方法。幅圖像去霧方法。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于上下文信息聚合和融合特征注意力的圖像去霧方法


[0001]本專利技術(shù)屬于圖像處理
，特別是一種基于上下文信息聚合和融合特征注意力的圖像去霧方法。

技術(shù)介紹

[0002]霧天在室外進(jìn)行取景，拍攝的視頻或圖片往往因?yàn)楸§F的存在導(dǎo)致成像的能見度降低，對比度下降，表面模糊和顏色失真等問題。不僅嚴(yán)重影響了視覺效果，同時也在圖像的信息量上造成了相當(dāng)嚴(yán)重的損失。現(xiàn)階段大多數(shù)的計(jì)算機(jī)視覺算法大都適用于沒有霧霾干擾的正常輻照的場景，而可靠視覺系統(tǒng)往往需要考慮到不受環(huán)境約束的視覺退化。以自動駕駛為例，多霧天氣將嚴(yán)重影響攝像頭的視野，過低的能見度導(dǎo)致自動/輔助駕駛陷入困境，同時也存在安全上的隱患。
[0003]針對霧霾天氣帶來的加性噪聲，非線性的數(shù)據(jù)相關(guān)的噪聲使得去霧任務(wù)具有挑戰(zhàn)性，作為一項(xiàng)基本的計(jì)算機(jī)底層視覺任務(wù)，圖像去霧引起了越來越多的計(jì)算機(jī)視覺領(lǐng)域的學(xué)者和人工智能公司的關(guān)注。早期的去霧方法往往通過采集同一場景的多幅圖像經(jīng)過計(jì)算圖像深度信息，然后還原無霧圖像。相比較而言，單幅圖像去霧具有更為適用的應(yīng)用場景，因此后續(xù)開發(fā)了一系列針對于單幅圖像去霧的算法。其中大氣散射模型被廣泛用于解釋霧天圖像的攝取過程I(x)＝J(x)t(x)+A(1
?
t(x))，其中I(x)是帶霧圖像，J(x)是清晰的無霧場景下的圖像，A表示的是大氣光值，t(x)是透射率。大多數(shù)的去霧方法通過估計(jì)透射率t(x)和大氣光值A(chǔ)還原無霧圖像。例如，何凱明等人在2009年提出的暗通道先驗(yàn)(DCP,Dark Channel Prior)算法通過假設(shè)室外無霧圖像在某一通道中具有低強(qiáng)度值的先驗(yàn)假設(shè)估計(jì)透射率t(x)。但是當(dāng)場景中的對象與大氣光相似時，采取這樣的估計(jì)往往是不準(zhǔn)確的。隨著深度學(xué)習(xí)的發(fā)展，提出了一系列基于卷積神經(jīng)網(wǎng)絡(luò)(CNN,Convolutional neural network)的圖像去霧算法，與傳統(tǒng)方法對比，基于CNN的方法通過間接預(yù)測透射率t(x)或者直接回歸得到無霧圖像，避免了傳統(tǒng)方法物理參數(shù)估計(jì)不精確的問題。不同層次的特征圖帶有不同層次的信息，對不同層次特征圖進(jìn)行融合可以增強(qiáng)特征提取的能力。擴(kuò)張卷積技術(shù)具有不犧牲空間分辨率的優(yōu)點(diǎn)被廣泛用于上下文信息聚合，但是被證明在去霧網(wǎng)絡(luò)中采用簡單的擴(kuò)張卷積會帶來網(wǎng)格偽影現(xiàn)象。對于霧度不均勻的場景，采用平等對待通道特征和像素級特征進(jìn)行無霧圖像的估計(jì)也往往是不準(zhǔn)確的。

技術(shù)實(shí)現(xiàn)思路

[0004]本專利技術(shù)的目的在于提供一種基于上下文信息聚合和融合特征注意力的圖像去霧方法，基于深度學(xué)習(xí)的方法，使用平滑擴(kuò)張卷積替代傳統(tǒng)的擴(kuò)張卷積減小產(chǎn)生的網(wǎng)格偽影，通過融合特征注意力機(jī)制加權(quán)對待通道注意和像素級注意解決場景霧度不均勻、通道霧度不均造成去霧圖像估計(jì)不準(zhǔn)確的問題，采用一個自編碼器的結(jié)構(gòu)，使用上下文信息聚合網(wǎng)絡(luò)融合不同層次的特征。
[0005]實(shí)現(xiàn)本專利技術(shù)目的的技術(shù)解決方案為：一種基于上下文信息聚合和融合特征注意力
的圖像去霧方法，所述方法包括以下步驟：
[0006]步驟1，針對帶霧圖像，通過編碼器提取圖像的淺層特征；
[0007]步驟2，依據(jù)淺層特征，通過信息融合子網(wǎng)進(jìn)行上下文信息聚合；
[0008]步驟3，通過解碼器還原圖像，獲得去霧后的圖像。
[0009]進(jìn)一步地，步驟1中編碼器包括依次連接的三個單元，每個單元均包括卷積層、Instance歸一化層和ReLU激活層；三個單元卷積層的輸出通道數(shù)均為64，卷積核的大小均為3，前兩個卷積層的步距均為1，輸出的特征圖的尺度與輸入圖像相同，第三個卷積層的步距為2，將特征圖的尺度縮小為原圖像的1/2。
[0010]進(jìn)一步地，步驟2所述依據(jù)淺層特征，通過信息融合子網(wǎng)進(jìn)行上下文信息聚合，具體包括：
[0011]步驟2
?
1，構(gòu)建組結(jié)構(gòu)，并將N個組結(jié)構(gòu)依次串聯(lián)形成多層級組結(jié)構(gòu)；其中最后一個組結(jié)構(gòu)包括平滑擴(kuò)張卷積模塊、殘差特征注意模塊，其他組結(jié)構(gòu)除了包括平滑擴(kuò)張卷積、殘差特征注意塊，還包括Instance歸一化層和ReLU激活層；
[0012]步驟2
?
2，將經(jīng)過步驟1淺層特征提取后圖像輸入至所述多層級組結(jié)構(gòu)，之后提取M個不同層級的組結(jié)構(gòu)輸出的特征圖輸入至融合子網(wǎng)中，進(jìn)行上下文信息聚合；所述M<N。
[0013]進(jìn)一步地，步驟2
?
1中平滑擴(kuò)張卷積模塊具體為：在擴(kuò)張卷積前添加卷積核大小為(2r
?
1)的分離共享卷積層，r為擴(kuò)張率，r>1。
[0014]進(jìn)一步地，步驟2
?
1中殘差特征注意模塊包括上分支和下分支，下分支的輸出與上分支的輸出采用元素加的操作；
[0015]其中，上分支包括依次串聯(lián)的一個局部的殘差學(xué)習(xí)單元、通道注意力單元和像素級注意力單元；
[0016](1)殘差學(xué)習(xí)單元包括兩個卷積層：
[0017]F
c
＝Conv(δ(Conv(F
in
))+F
in
)
[0018]式中，兩個卷積層均為輸出通道數(shù)為64的卷積，F(xiàn)
in
為殘差學(xué)習(xí)的輸入，δ為ReLU激活函數(shù)，F(xiàn)
c
為殘差學(xué)習(xí)的輸出，也即通道注意力的輸入；
[0019](4)通道注意力單元具體為：
[0020]對輸入特征圖F
c
使用全局平均池化將通道全局信息納入通道描述符，通過全局平均池化函數(shù)H
p
將特征圖的形狀從C
×
H
×
W調(diào)整成C
×1×
1，得到特征圖H
p
(F
c
)：
[0021][0022]式中，H和W分別表示特征圖的寬、高，C是通道數(shù)，X
c
(i,j)為每一個通道在空間處(i,j)的像素；
[0023]之后將特征圖經(jīng)過兩個卷積層Conv，sigmoid(σ)和ReLU(δ)激活，得到CA
c
：
[0024]CA
c
＝σ(Conv(δ(Conv(H
p
(F
c
))))
[0025]對CA
c
與輸入特征圖F
c
進(jìn)行元素積，得到帶權(quán)重的通道特征即通道注意力
[0026][0027](5)像素級注意力單元具體為：
[0028]對通道注意力進(jìn)行卷積激活操作，將特征圖的形狀由C
×
H
×
W調(diào)整為1
×
H
×
W，
得到的結(jié)果為PA：
[0029][0030]對PA與通道注意力進(jìn)行元素積操作：
[0031][0032]其中，下分支包括一個瓶頸結(jié)構(gòu)，該結(jié)構(gòu)包括依次設(shè)置的1
×
1，3
×
3，1
×
1三層卷積，其中3
×
3卷積層的通道數(shù)設(shè)置為25本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于上下文信息聚合和融合特征注意力的圖像去霧方法，其特征在于，所述方法包括以下步驟：步驟1，針對帶霧圖像，通過編碼器提取圖像的淺層特征；步驟2，依據(jù)淺層特征，通過信息融合子網(wǎng)進(jìn)行上下文信息聚合；步驟3，通過解碼器還原圖像，獲得去霧后的圖像。2.根據(jù)權(quán)利要求1所述的基于上下文信息聚合和融合特征注意力的圖像去霧方法，其特征在于，步驟1中編碼器包括依次連接的三個單元，每個單元均包括卷積層、Instance歸一化層和ReLU激活層；三個單元卷積層的輸出通道數(shù)均為64，卷積核的大小均為3，前兩個卷積層的步距均為1，輸出的特征圖的尺度與輸入圖像相同，第三個卷積層的步距為2，將特征圖的尺度縮小為原圖像的1/2。3.根據(jù)權(quán)利要求1所述的基于上下文信息聚合和融合特征注意力的圖像去霧方法，其特征在于，步驟2所述依據(jù)淺層特征，通過信息融合子網(wǎng)進(jìn)行上下文信息聚合，具體包括：步驟2
?
1，構(gòu)建組結(jié)構(gòu)，并將N個組結(jié)構(gòu)依次串聯(lián)形成多層級組結(jié)構(gòu)；其中最后一個組結(jié)構(gòu)包括平滑擴(kuò)張卷積模塊、殘差特征注意模塊，其他組結(jié)構(gòu)除了包括平滑擴(kuò)張卷積、殘差特征注意塊，還包括Instance歸一化層和ReLU激活層；步驟2
?
2，將經(jīng)過步驟1淺層特征提取后圖像輸入至所述多層級組結(jié)構(gòu)，之后提取M個不同層級的組結(jié)構(gòu)輸出的特征圖輸入至融合子網(wǎng)中，進(jìn)行上下文信息聚合；所述M＜N。4.根據(jù)權(quán)利要求3所述的基于上下文信息聚合和融合特征注意力的圖像去霧方法，其特征在于，步驟2
?
1中平滑擴(kuò)張卷積模塊具體為：在擴(kuò)張卷積前添加卷積核大小為(2r
?
1)的分離共享卷積層，r為擴(kuò)張率，r＞1。5.根據(jù)權(quán)利要求3所述的基于上下文信息聚合和融合特征注意力的圖像去霧方法，其特征在于，步驟2
?
1中殘差特征注意模塊包括上分支和下分支，下分支的輸出與上分支的輸出采用元素加的操作；其中，上分支包括依次串聯(lián)的一個局部的殘差學(xué)習(xí)單元、通道注意力單元和像素級注意力單元；(1)殘差學(xué)習(xí)單元包括兩個卷積層：F
c
＝Conv(δ(Conv(F
in
))+F
in
)式中，兩個卷積層均為輸出通道數(shù)為64的卷積，F(xiàn)
in
為殘差學(xué)習(xí)的輸入，δ為ReLU激活函數(shù)，F(xiàn)
c
為殘差學(xué)習(xí)的輸出，也即通道注意力的輸入；(2)通道注意力單元具體為：對輸入特征圖F
c
使用全局平均池化將通道全局信息納入通道描述符，通過全局平均池化函數(shù)H
p
將特征圖的形狀從C
×
H
×
W調(diào)整成C
×1×
1，得到特征圖H
p
(F
c
)：式...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：牟家正，李吟，王圣東，王成，馮晶晶，林榮飛，劉英杰，卞浩，沈達(dá)程，
申請(專利權(quán))人：中國船舶集團(tuán)有限公司第七一六研究所中船重工信息科技有限公司，
類型：發(fā)明
國別省市：