一種基于超分辨的紅外與可見光圖像融合方法及系統技術方案

本發明專利技術提供了一種基于超分辨的紅外與可見光圖像融合方法及系統，包括獲取待融合的紅外圖像和可見光圖像；基于預先訓練的生成對抗網絡對所述紅外圖像進行超分辨處理，獲得高分辨率紅外圖像；基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低頻和高頻信息提取；基于預設融合規則，對獲得的高分辨率紅外圖像和可見光圖像的低頻信息和高頻信息分別進行融合，獲得融合的低頻信息和高頻信息；基于融合的低頻信息和高頻信息，進行小波系數提取；對獲取的小波系數進行小波逆變換，獲得紅外圖像與可見光圖像的融合圖像。紅外圖像與可見光圖像的融合圖像。紅外圖像與可見光圖像的融合圖像。

【技術實現步驟摘要】
一種基于超分辨的紅外與可見光圖像融合方法及系統


[0001]本專利技術屬于圖像融合
，尤其涉及一種基于超分辨的紅外與可見光圖像融合方法及系統。

技術介紹

[0002]本部分的陳述僅僅是提供了與本專利技術相關的
技術介紹
信息，不必然構成在先技術。
[0003]圖像融合是將不同的圖像進行數據合并，實現融合多個圖像中的冗余信息互補，進一步優化圖像來實現對圖像的更多分析。圖像融合技術發展至今，可以分為三個不同的融合層次：像素級融合、特征級融合、決策級融合。并且在不同融合層次上方法也可以分成基于傳統的圖像處理方法、基于深度學習的方法等。
[0004]圖像融合是使用多源的通道信息來合成最終的圖像結果，提高圖像中包含的信息。圖像融合技術一般可以分為三個步驟：多源通道圖像配準、圖像預處理、信息融合。專利技術人發現，目前圖像融合技術主要存在以下技術問題：
[0005](1)對于多源通道圖像，獲取圖像時一般只是使用可見光圖像或者紅外圖像，而且對于圖像的輸入有嚴格的限定條件，要求圖像經過配準操作且分辨率、尺寸均保持一致，對于不同分辨率的紅外圖像與可見光圖像融合，現有方法無法進行有效處理；
[0006](2)圖像預處理通常使用圖像的平均值、熵值、標準偏差等對圖像特征進行反映，現有的信息融合時采用空間域或者變換域的方法來進行實現，在不同層級進行信息融合需要不同的算法，代表性的方法為小波變換方法，當前在信息融合領域存在的主要問題在于無法有效選取最佳小波基函數和最佳小波分解層數。

技術實現思路

[0007]本專利技術為了解決上述問題，提供了一種基于超分辨的紅外與可見光圖像融合方法及系統，所述方案基于生成對抗網絡與小波變換進行圖像融合，有效保證了融合精度及融合效率。
[0008]根據本專利技術實施例的第一個方面，提供了一種基于超分辨的紅外與可見光圖像融合方法，包括：
[0009]獲取待融合的紅外圖像和可見光圖像；
[0010]基于預先訓練的生成對抗網絡對所述紅外圖像進行超分辨處理，獲得高分辨率紅外圖像；
[0011]基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低頻和高頻信息提取；
[0012]基于預設融合規則，對獲得的高分辨率紅外圖像和可見光圖像的低頻信息和高頻信息分別進行融合，獲得融合的低頻信息和高頻信息；
[0013]基于融合的低頻信息和高頻信息，進行小波系數提取；
[0014]對獲取的小波系數進行小波逆變換，獲得紅外圖像與可見光圖像的融合圖像。
[0015]進一步的，所述生成對抗網絡的訓練，具體為：
[0016]構建訓練數據集，數據集中的樣本包括低分辨率圖像及其對應高分辨率圖像組成的數據對；
[0017]利用所述訓練數據集對所述生成對抗網絡進行訓練，其輸入為低分辨率圖像，輸出為高分辨率圖像；
[0018]獲得訓練好的生成對抗網絡。
[0019]進一步的，所述基于預先訓練的生成對抗網絡對所述紅外圖像進行超分辨處理，僅利用所述生成對抗網絡的生成器。
[0020]進一步的，基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低頻和高頻信息提取，具體為：基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低通和高通濾波，獲得圖像的低頻和高頻信息。
[0021]進一步的，所述融合規則包括低頻信息融合規則和高頻信息融合規則，其中，所述低頻信息融合規則具體為：
[0022]C
J
(F，p)＝aC
J
(A，p)+(l
?
a)C
J
(B，p)，0≤a≤1；
[0023]高頻信息融合規則具體為：
[0024][0025]其中，C
J
(F，p)、C
J
(A，p)、C
J
(B，p)分別表示融合后圖像F、源圖像A、源圖像B在J層小波分解時的系數，a為調節參數，p為圖像在坐標系中的位置。
[0026]進一步的，所述小波系數提取，具體為：基于所述融合規則，對小波系數進行閾值化處理，保留高于預設閾值的小波系數。
[0027]根據本專利技術實施例的第二個方面，提供了一種基于超分辨的紅外與可見光圖像融合系統，包括：
[0028]數據獲取單元，其用于獲取待融合的紅外圖像和可見光圖像；
[0029]紅外圖像超分辨單元，其用于基于預先訓練的生成對抗網絡對所述紅外圖像進行超分辨處理，獲得高分辨率紅外圖像；
[0030]小波變換單元，其用于基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低頻和高頻信息提取；
[0031]圖像融合單元，其用于基于預設融合規則，對獲得的高分辨率紅外圖像和可見光圖像的低頻信息和高頻信息分別進行融合，獲得融合的低頻信息和高頻信息；
[0032]小波系數提取單元，其用于基于融合的低頻信息和高頻信息，進行小波系數提取；
[0033]小波逆變換單元，其用于對獲取的小波系數進行小波逆變換，獲得紅外圖像與可見光圖像的融合圖像。
[0034]根據本專利技術實施例的第三方面，提供了一種計算機可讀存儲介質，其上存儲有程序，該程序被處理器執行時實現如上所述的一種基于超分辨的紅外與可見光圖像融合方法。
[0035]根據本專利技術實施例的第四方面，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，所述處理器執行所述程序時實現如上所述的一種
基于超分辨的紅外與可見光圖像融合方法。
[0036]與現有技術相比，本專利技術的有益效果是：
[0037](1)本專利技術提供了一種基于超分辨的紅外與可見光圖像融合方法及系統，所述方案使用生成對抗網絡對紅外圖像首先進行超分辨處理，對比于傳統算法都是通過插值來進行圖像的縮放，使融合的圖像具有相同的尺寸，往往不能很好的反映紅外圖像的真實信息，使用生成對抗神經網絡比插值方法，可以得到更好的紅外圖像，更真實的反映紅外圖像的高頻信息，進而有效提高融合的精確度。
[0038](2)本專利技術所述融合方法中，圖像融合部分只需要使用閾值篩選的小波系數，通過小波逆變換即可獲得融合后的圖像，降低了融合的計算復雜度，提高了融合效率。
[0039](3)本專利技術提供的融合方法可以在紅外圖像與可見光圖像分辨率不同的情況下，輸出效果更好的融合后圖像。
[0040]本專利技術附加方面的優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本專利技術的實踐了解到。
附圖說明
[0041]構成本專利技術的一部分的說明書附圖用來提供對本專利技術的進一步理解，本專利技術的示意性實施例及其說明用于解釋本專利技術，并不構成對本專利技術的不當限定。
[0042]圖1為本專利技術實施例一中所述的小波變換分解圖像示意圖；
[0043]圖2為本專利技術實施例一中所述紅外與可見光圖像融合方法流程圖；
[0044]圖3為本專利技術實施例一中所述生成對抗神經網絡對紅外圖像超分辨；...

【技術保護點】

【技術特征摘要】
1.一種基于超分辨的紅外與可見光圖像融合方法，其特征在于，包括：獲取待融合的紅外圖像和可見光圖像；基于預先訓練的生成對抗網絡對所述紅外圖像進行超分辨處理，獲得高分辨率紅外圖像；基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低頻和高頻信息提取；基于預設融合規則，對獲得的高分辨率紅外圖像和可見光圖像的低頻信息和高頻信息分別進行融合，獲得融合的低頻信息和高頻信息；基于融合的低頻信息和高頻信息，進行小波系數提取；對獲取的小波系數進行小波逆變換，獲得紅外圖像與可見光圖像的融合圖像。2.如權利要求1所述的一種基于超分辨的紅外與可見光圖像融合方法，其特征在于，所述生成對抗網絡的訓練，具體為：構建訓練數據集，數據集中的樣本包括低分辨率圖像及其對應高分辨率圖像組成的數據對；利用所述訓練數據集對所述生成對抗網絡進行訓練，其輸入為低分辨率圖像，輸出為高分辨率圖像；獲得訓練好的生成對抗網絡。3.如權利要求1所述的一種基于超分辨的紅外與可見光圖像融合方法，其特征在于，所述基于預先訓練的生成對抗網絡對所述紅外圖像進行超分辨處理，僅利用所述生成對抗網絡的生成器。4.如權利要求1所述的一種基于超分辨的紅外與可見光圖像融合方法，其特征在于，基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低頻和高頻信息提取，具體為：基于小波變換分別對所述高分辨率紅外圖像及可見光圖像進行低通和高通濾波，獲得圖像的低頻和高頻信息。5.如權利要求1所述的一種基于超分辨的紅外與可見光圖像融合方法，其特征在于，所述融合規則包括低頻信息融合規則和高頻信息融合規則。6.如權利要求5所述的一種基于超分辨的紅外與可見光圖像融合方法，其特征在于，所述低頻信息融合規則具體為：C
J
(F，p)＝aC
J
(A，p)+(1
?...

【專利技術屬性】
技術研發人員：楊陽，王紹慶，劉云霞，
申請(專利權)人：山東大學，
類型：發明
國別省市：