本發明專利技術提供了一種基于多尺度字典學習的圖像融合方法，首先進行多尺度學習，對每一幅訓練圖像分解出S個子帶，每個子帶對應學習一個子字典；然后對源圖像進行小波變換，得到所有源圖像的子帶，采用SOMP算法求解子帶的稀疏表示系數并進行融合，最后進行逆小波變換，得融合圖像。本發明專利技術提高了圖像表示系數的稀疏度、擬合度，增強了融合圖像的細節表現能力，具有更優的融合效果和更好的抑制噪聲能力，字典的泛化能力也更強。
【技術實現步驟摘要】
本專利技術涉及一種圖像融合方法。
技術介紹
圖像融合是指把同一對象經多個傳感器的不同成像或經單一傳感器的多次成像通過特定方法加以綜合，以獲得更全面、更準確描述的技術，該技術在醫學成像、遙感成像、機器視覺、安全監控等領域有廣闊的應用前景。由于基于稀疏表示的圖像融合方法表現出了比經典的基于小波、曲波、非下采樣輪廓波等融合方法更好的融合效果，從而成為當前圖像融合領域的一個非常活躍的研究方向。文獻 I “Yang Guang, Xu Xing-zhong, and Man Hong, Optimum imagefusion via sparse representation, WOCC 2011_20th Annual Wirelessand Optical Communications Conference, 2011.，， 和文獻 2 “Yu Nan-nan, QiuTian-shuang,and Bi Feng, Image features extraction and fusion based onjoint sparse representation, IEEE Journal of Selected Topics in SignalProcessing, 2011, 5 (5) : 1074-1082. ”重點研究了基于稀疏表示的圖像融合中系數融合規則的選取問題。其中文獻I利用字典求得源圖像對的稀疏表示向量，再通過優化源圖像和融合圖像的歐式距離，并用梯度對距離賦予權重融合系數。而文獻2則利用聯合的稀疏表示提取源圖像的共有和特有特征，再按照特有特征的平均絕對值加權求得最終融合圖像的稀疏系數。這兩種方法均取得了比離散小波或獨立成分分析等方法更優的融合效果。文獻I 和文獻 3 “Yang Bin and Li Shu-tao, Pixel-level image fusion with simultaneousorthogonal matching pursuit , Information Fusion, 2012, I (13) :10-19. ”比較研究了分別采用DCT過完備字典、混合字典、學習型字典的稀疏表示系數表征源圖像，再將這些系數按照選擇最大的準則融合圖像的三種基于稀疏表示的圖像融合方法，結果表明基于學習型字典稀疏表示的融合效果最優，其原因在于基于學習型冗余字典的信號稀疏表示能夠更準確有效地提取出源圖像中的信息，具有更優秀的稀疏性與特征保持性。上述基于稀疏表示的圖像融合方法都包含四個基本步驟①構造字典，②求解源圖像的稀疏表示，③通過特定規則融合系數，④重構融合圖像。其中，步驟①和③是決定融合效果的最關鍵步驟，是值得重點研究的兩個方面的內容。如前所述，目前基于字典學習的圖像融合方法都是在圖像域單一尺度下進行字典學習，這種學習型字典雖然可以精細地擬合數據，但是不能多尺度地分析數據。
技術實現思路
為了克服現有技術的不足，本專利技術提供一種基于多尺度字典學習的融合方法，一方面通過在小波域中學習字典，從而具有小波分析的多尺度、多方向特點；另一方面，在小波系數的基礎上進一步稀疏，從而達到雙重稀疏的效果。因此，基于多尺度字典學習方法既能夠較小波分析方法具有更好的稀疏表示源圖像的能力，又能夠較單尺度學習型字典具有多尺度分析的能力，從而使得該方法能夠更稀疏更有效地表示圖像信息。本專利技術解決其技術問題所采用的技術方案包括以下步驟(I)對于已經經過配準的K幅大小為MXN的源圖像I1, ...，Ik，用2D小波變換分解每一幅訓練圖像，每一幅訓練圖像分解出S個子帶，其中，訓練圖像是源圖像本身或與源圖像采集方式相同的圖像；(2)對所有子帶，以步長為1，大小為的滑動窗口按照從左上到右下的順序提取塊，再將塊拉直并依次排列組成矩陣，每一子帶排列出一個矩陣；(3)對每一個矩陣用K-SVD算法學習一個子字典Db ；(4)保存所有學習到的子字典，即子字典Db e Rnxm, b = 1，2，· · ·，S，η為字典原子的大小，m為每個子字典的原子數；(5)對源圖像進行小波變換，得到所有源圖像的子帶{cg，k = l27...,K;b = X2,...S};(6)將Cikb按照步驟⑵的方法排列成矩陣CVf，得到大小為(▲xA)x矩陣，從而矩陣cV6k中的第j列…^.對應第k幅源圖像經小波分解在第b個子帶中第j塊；(7)采用SOMP算法并結合子字典求解下式 ;,2Oargmiii cV^ -OhCSibj subject to ca~ <Γ λ = {1，2，...，尤} D^,ca|.FQ從而得到彳}L的稀疏表示系數￡< ,-M1 ；(8)按照以下步驟融合源圖像各個子帶的稀疏表示系數①求解c<的活動水平4, =Ica^IIi ；②選取活動水平最大的系數作為融合圖像在b子帶的稀疏表示系數c af ^ca〖的第j 列ca(. =cafA* ^argmax(4；)·；J J f5ZVk=l 上…X J③歷所有源圖像各個子帶每一列的稀疏表示系數，重復步驟①和②，得到融合圖像的所有子帶的稀疏表示系數caf，ca『，…，caf ；④分別計算融合圖像每一子帶的融合矩陣CVf =D4Cttf，得到融合圖像每一子帶的融合矩陣(9)分別遍歷每一子帶的融合矩陣CVf將矩陣中的每一列排列成大小的塊，按照提取的順序放到Cl"的對應位置，對同一位置的子帶系數累加求平均，從而得到clfb = 1，2，· · ·，S ;(10)最后將Clf進行逆小波變換，得融合圖像IF。本專利技術的有益效果是本專利技術較單尺度字典學習和多尺度分析的融合方法都具有優勢，在稀疏表示源圖像的同時對其進行多尺度分析，進一步提高了圖像表示系數的稀疏度、擬合度，增強了融合圖像的細節表現能力，所以具有更優的融合效果。本專利技術方法采用基于稀疏表示的多尺度字典學習策略，之所以能有較優的抑制噪聲的能力，其根本原因是源圖像的有用信息與噪聲在稀疏表示上具有可分性，即源圖像在字典上具有稀疏表示，而噪聲則沒有。在融合時，我們只提取在字典上有稀疏表示的源圖像信息，所以達到了在融合的同時抑制噪聲的效果。進一步的，本專利技術方法較其它基于稀疏的融合方法(OMP方法和SOMP方法)效果更優，主要因為本方法的字典具有多尺度性，能在各個尺度提取源圖像的信息，抑制噪聲，所以較傳統單尺度學習字典的OMP、SOMP圖像融合方法有更好的抑制噪聲能力。由于字典的每個原子代表源圖像的一個結構原型，所以對一類圖像訓練好的字典可以直接應用于同類型的另一組圖像，這樣在融合時不必重新訓練字典，這是字典在圖像融合中的泛化能力。本專利技術方法不僅使字典中的每一個原子表征源圖像的一個結構原型，還能在不同方向和尺度下表征某一結構原型，因此特征保持性更好，字典的泛化能力也更強。附圖說明圖I是紅外可視圖像及幾種方法的融合結果，其中，(a)是可視圖像，(b)是紅外圖像，(c)是DffT方法，(d)是OMP方法，(e)是SOMP方法，(f)是本專利技術方法；圖2是遙感圖像及幾種方法的融合結果，其中，(a)是遙感圖像A，(b)是遙感圖像B，(c)是DffT方法，(d)是OMP方法，(e)是SOMP方法，(f)本專利技術方法；圖3是幾種方法對噪聲圖像本文檔來自技高網...
【技術保護點】
一種基于多尺度字典學習的圖像融合方法，其特征在于包括下述步驟：(1)對于已經經過配準的K幅大小為M×N的源圖像I1,...,IK，用2D小波變換分解每一幅訓練圖像，每一幅訓練圖像分解出S個子帶，其中，訓練圖像是源圖像本身或與源圖像采集方式相同的圖像；(2)對所有子帶，以步長為1，大小為的滑動窗口按照從左上到右下的順序提取塊，再將塊拉直并依次排列組成矩陣，每一子帶排列出一個矩陣；(3)對每一個矩陣用K？SVD算法學習一個子字典Db；(4)保存所有學習到的子字典，即子字典Db∈Rn×m,b＝1,2,...,S，n為字典原子的大小，m為每個子字典的原子數；(5)對源圖像進行小波變換，得到所有源圖像的子帶(6)將按照步驟(2)的方法排列成矩陣得到大小為(n×n)×[(M-n+1)×(N-n+1)]矩陣，從而矩陣中的第j列對應第k幅源圖像經小波分解在第b個子帶中第j塊；(7)采用SOMP算法并結合子字典求解下式：argminDb,cabjk||cVbjk-Dbcabjk||F2subjectto||cabjk||00≤T,k={1,2,...,K}從而得到的稀疏表示系數cαbj2,...,cαbjK;（8）按照以下步驟融合源圖像各個子帶的稀疏表示系數：①求解的活動水平Abjk=||cαbjk||1;②選取活動水平最大的系數作為融合圖像在b子帶的稀疏表示系數的第j列cαbjF=cαbjk*,k*=argmaxk=1,2,...,K(Abjk).;③歷所有源圖像各個子帶每一列的稀疏表示系數，重復步驟①和②，得到融合圖像的所有子帶的稀疏表示系數④分別計算融合圖像每一子帶的融合矩陣得到融合圖像每一子帶的融合矩陣(9)分別遍歷每一子帶的融合矩陣將矩陣中的每一列排列成大小的塊，按照提取的順序放到的對應位置，對同一位置的子帶系數累加求平均，從而得到(10)最后將進行逆小波變換，得融合圖像IF。FDA00002007780200011.jpg,FDA00002007780200012.jpg,FDA00002007780200013.jpg,FDA00002007780200014.jpg,FDA00002007780200016.jpg,FDA00002007780200017.jpg,FDA00002007780200019.jpg,FDA000020077802000110.jpg,FDA000020077802000112.jpg,FDA000020077802000114.jpg,FDA000020077802000115.jpg,FDA000020077802000118.jpg,FDA000020077802000119.jpg,FDA000020077802000120.jpg,FDA000020077802000121.jpg,FDA000020077802000122.jpg,FDA00002007780200021.jpg,FDA00002007780200022.jpg,FDA00002007780200023.jpg,FDA00002007780200024.jpg,FDA00002007780200025.jpg...
【技術特征摘要】
【專利技術屬性】
技術研發人員：彭進業，王珺，何貴青，閻昆，夏召強，馮曉毅，蔣曉悅，吳俊，李會方，謝紅梅，楊雨奇，
申請(專利權)人：西北工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。