基于聯(lián)合稀疏約束的統(tǒng)一特征空間圖像超分辨重建方法技術(shù)

本發(fā)明專利技術(shù)公開一種基于聯(lián)合稀疏約束的統(tǒng)一特征空間圖像超分辨重建方法，其實(shí)現(xiàn)步驟為：(1)從自然圖像庫中取z幅圖像，構(gòu)造樣本集；(2)將樣本聚成C類，使用聯(lián)合學(xué)習(xí)得到每類低分辨投影矩陣和高分辨投影矩陣；(3)用將每類高分辨梯度特征樣本投影，得到樣本集Mj；(4)利用聯(lián)合稀疏約束對(duì)Mj和高分辨細(xì)節(jié)進(jìn)行字典學(xué)習(xí)，得到每類字典和字典(5)對(duì)輸入低分辨圖像Xt分塊，利用每類的投影矩陣將圖像塊投影，得到每類聯(lián)合特征，利用聯(lián)合特征和每類字典得到系數(shù)；(6)利用系數(shù)和每類字典得到重建結(jié)果；(7)用小波變換將重建結(jié)果進(jìn)行融合，得到一個(gè)高分辨結(jié)果rh；(8)重復(fù)步驟(5)到步驟(7)，得到高分辨圖像R0，使用IBP算法對(duì)其處理，得到重建結(jié)果RH。本發(fā)明專利技術(shù)具有重建結(jié)果邊緣清晰的優(yōu)點(diǎn)，可用于圖像識(shí)別和目標(biāo)分類。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)屬于數(shù)字圖像處理
，涉及一種圖像的超分辨率重構(gòu)方法，可用于各種自然圖像的超分辨重構(gòu)，并且對(duì)圖像的結(jié)構(gòu)信息有更好的重建效果。
技術(shù)介紹
在實(shí)際生活中，圖像已成為人們獲取信息的一種重要手段，已廣泛應(yīng)用于航天與航空、生物醫(yī)學(xué)、通信、工業(yè)控制、軍事公安、文化藝術(shù)、計(jì)算機(jī)視覺、視頻與多媒體系統(tǒng)、科學(xué)可視化、電子商務(wù)等眾多領(lǐng)域。在很多應(yīng)用領(lǐng)域中，如醫(yī)學(xué)診斷、模式識(shí)別、視頻監(jiān)控、生物鑒別、高清晰電視HDTV成像、遙感圖像解譯、高空對(duì)地觀測(cè)等，圖像處理系統(tǒng)往往需要處理高分辨率的圖像，以提高應(yīng)用系統(tǒng)的性能。然而，在實(shí)際應(yīng)用中，受成像系統(tǒng)物理分辨率限制，以及場(chǎng)景變化與天氣條件等諸多因素的影響，實(shí)際成像過程中往往存在光學(xué)與運(yùn)動(dòng)模糊、欠采樣和噪聲等退化因素，導(dǎo)致成像系統(tǒng)只能得到質(zhì)量較差、分辨率較低的圖像或圖像序列，通常滿足不了實(shí)際的應(yīng)用要求，這給后續(xù)的圖像處理、分析和理解帶來諸多困難，不利于人們正確地認(rèn)識(shí)客觀世界及其規(guī)律。為解決成像設(shè)備分辨率的不足和成像條件的限制，人們提出了一種借助信號(hào)處理技術(shù)增加圖像空間分辨率的“軟件”方法，即圖像超分辨重建技術(shù)。圖像超分辨技術(shù)是模擬成像系統(tǒng)的圖像退化過程，該退化過程一般包括光學(xué)模糊、運(yùn)動(dòng)模糊、欠采樣以及系統(tǒng)噪聲等。從獲得的一個(gè)或多個(gè)低分辨圖像中重建出傳統(tǒng)數(shù)字成像設(shè)備不能直接獲得的高分辨圖像，以獲得更多的圖像細(xì)節(jié)信息。現(xiàn)有的圖像超分辨方法主要分為以下三種類型:(I)基于插值的方法；該類方法是目前超分辨率重建方法中最直觀的方法，這類方法的優(yōu)點(diǎn)是算法快速易行，但是該類方法在放大倍數(shù)較高的情況下，重建的高分辨率結(jié)果會(huì)產(chǎn)生嚴(yán)重的失真；(2)基于重構(gòu)的方法；該類方法是利用一些圖像的先驗(yàn)知識(shí)來進(jìn)行高分辨圖像細(xì)節(jié)的估計(jì)的，有些學(xué)者就引入一些正則化方法來提高高分辨圖像的估計(jì)質(zhì)量，例如雙邊總變分算子，I1范數(shù)，Tikhonov正則化方法等；但是這些方法沒有充分利用到圖像自身信息的冗余性，而且對(duì)噪聲的魯棒性不好，雖然有一些方法也利用了圖像的冗余性，例如基于非局部均值的圖像超分辨重構(gòu)，由于該方法只是對(duì)相似塊進(jìn)行加權(quán)，能夠恢復(fù)的圖像細(xì)節(jié)是有限的；(3)基于實(shí)例學(xué)習(xí)的方法。該類方法是利用一些圖像的先驗(yàn)知識(shí)來進(jìn)行高分辨圖像細(xì)節(jié)的估計(jì)的，有些學(xué)者就引入一些正則化方法來提高高分辨圖像的估計(jì)質(zhì)量，例如雙邊總變分算子，I1范數(shù)，Tikhonov正則化方法等；但是這些方法沒有充分利用到圖像自身信息的冗余性，而且對(duì)噪聲的魯棒性不好，雖然有一些方法也利用了圖像的冗余性，例如基于非局部均值的圖像超分辨重構(gòu)，由于該方法只是對(duì)相似塊進(jìn)行加權(quán)，能夠恢復(fù)的圖像細(xì)節(jié)是有限的；最近，Yang等提出了使用圖像塊的稀疏表示來實(shí)現(xiàn)圖像的超分辨重建，由于該方法是通過字典從外界人為的給低分辨圖像加入一些細(xì)節(jié)信息，所以它可以有效的克服以前的方法在放大倍數(shù)較大的情況下，恢復(fù)結(jié)果較差的問題；但是由于基于稀疏重建的方法，都會(huì)假設(shè)圖像在低分辨率情況下和高分辨率下的映射關(guān)系是一一對(duì)應(yīng)的；然而，受圖像模糊、欠采樣和噪聲等降質(zhì)因數(shù)的影響，低分辨和高分辨圖像之間存在“一對(duì)多”的映射關(guān)系，即一個(gè)低分辨圖像可能對(duì)應(yīng)于多個(gè)不同的高分辨圖像。特別在圖像放大倍數(shù)增加的情況下，低分辨與高分辨圖像之間的不確定關(guān)系也會(huì)變得越來越模糊。所以基于稀疏模型的方法，最后結(jié)果會(huì)出現(xiàn)一些人工痕跡，影響圖像重構(gòu)質(zhì)量。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于聯(lián)合稀疏約束的統(tǒng)一特征空間超分辨重建方法，以避免造成映射關(guān)系不唯一而引起的重建圖像的細(xì)節(jié)丟失以及圖像邊緣的振鈴現(xiàn)象，更好的恢復(fù)圖像的結(jié)構(gòu)信息，提高圖像的重構(gòu)效果。通過利用學(xué)習(xí)到一組投影矩陣將高分辨圖像和低分辨圖像投影到一個(gè)統(tǒng)一特征空間上，并且利用聯(lián)合稀疏約束來訓(xùn)練字典，這樣能更好的把輸入的單幅低分辨圖像丟失的信息給重構(gòu)回去，最終得到高分辨率圖像，最后實(shí)驗(yàn)證明該方法的可行性。實(shí)現(xiàn)本專利技術(shù)的技術(shù)思路是:為了解決訓(xùn)練樣本中低分辨與高分辨圖像之間的不確定關(guān)系，增加一組從高分辨圖像提取的梯度特征樣本來替換原來的低分辨特征樣本來訓(xùn)練字典；由于不能用訓(xùn)練好的字典直接表示低分辨塊，為此，將兩個(gè)不同維數(shù)的特征空間，采用聯(lián)合學(xué)習(xí)方法投影到一個(gè)聯(lián)合的特征子空間上，這樣就可以在統(tǒng)一的特征空間上用訓(xùn)練好的字典來稀疏表示低分辨率圖像；在訓(xùn)練字典的方法上，引入聯(lián)合稀疏約束來訓(xùn)練字典，即確保相似的圖像在訓(xùn)練好的字典下稀疏表示的系數(shù)也是相似的，這樣可以較好的保持圖像的結(jié)構(gòu)信息。在每次字典原子進(jìn)行更新時(shí)，強(qiáng)制要求 每類的訓(xùn)練樣本在該字典下的稀疏表示系數(shù)盡可能與該類中心的稀疏表示系數(shù)接近，這樣每個(gè)類樣本的稀疏表示系數(shù)就會(huì)很接近；為實(shí)現(xiàn)上述目的，本專利技術(shù)包括如下步驟:(I)從自然圖像庫中取z幅常見的自然圖像，60彡z彡70，使用選取的自然圖像構(gòu)造低分辨圖像梯度特征塊訓(xùn)練集』=kl和高分辨圖像梯度特征塊訓(xùn)練集I = fel纖高分辨圖像高頻細(xì)節(jié)塊訓(xùn)練集I=丨/Ui，其中, 表示第i個(gè)低分辨圖像梯度特征塊，bi表示第i個(gè)高分辨圖像梯度特征塊，hi表示第i個(gè)高分辨圖像高頻細(xì)節(jié)塊，N表示總的圖像塊數(shù)；(2)使用K-均值聚類方法將上述樣本集A、B和H聚成C類，分別得到每類樣本Af = {a,}:] ,Bf = {Λ }^；= 和每個(gè)聚類中心集合O = {(； ，其中，考表示第j類低分辨圖像梯度特征樣本集，<表示第j類高分辨圖像梯度特征樣本集，W「表示第j類高分辨圖像高頻細(xì)節(jié)樣本，Cj表示第j類的聚類中心，j e {I, 2，…，C}，Nj表示第j類樣本的總個(gè)數(shù)；(3)對(duì)每類低分辨特征樣本<和高分辨特征樣本β「使用聯(lián)合學(xué)習(xí)方法進(jìn)行投影矩陣學(xué)習(xí)，得到每類的低分辨投影矩陣^和高分辨投影矩陣If t(4)對(duì)每類高分辨特征樣本集使用高分辨投影矩陣If 將其投影到聯(lián)合特征空間上，得到特征空間樣本集Mj ;將聯(lián)合特征空間上的樣本集Mj和高分辨圖像高頻細(xì)節(jié)訓(xùn)練集^^結(jié)合起來得到每類用于字典訓(xùn)練樣本集K = I;(5)對(duì)每類字典訓(xùn)練樣本集IS =I^I = 使用聯(lián)合稀疏約束模型:本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于聯(lián)合稀疏約束的統(tǒng)一特征空間圖像超分辨重建方法，包括如下步驟：(1)從自然圖像庫中取z幅常見的自然圖像，60≤z≤70，使用選取的自然圖像構(gòu)造低分辨圖像梯度特征塊訓(xùn)練集和高分辨圖像梯度特征塊訓(xùn)練集以及高分辨圖像高頻細(xì)節(jié)塊訓(xùn)練集其中，ai表示第i個(gè)低分辨圖像梯度特征塊，bi表示第i個(gè)高分辨圖像梯度特征塊，hi表示第i個(gè)高分辨圖像高頻細(xì)節(jié)塊，N表示總的圖像塊數(shù)；(2)使用K?均值聚類方法將上述樣本集A、B和H聚成C類，分別得到每類樣本和每個(gè)聚類中心集其中，表示第j類低分辨圖像梯度特征樣本集，表示第j類高分辨圖像梯度特征樣本集，表示第j類高分辨圖像高頻細(xì)節(jié)樣本，Cj表示第j類的聚類中心，j∈{1,2,…,C}，Nj表示第j類樣本的總個(gè)數(shù)；(3)對(duì)每類低分辨特征樣本和高分辨特征樣本使用聯(lián)合學(xué)習(xí)方法進(jìn)行投影矩陣學(xué)習(xí)，得到每類的低分辨投影矩陣和高分辨投影矩陣(4)對(duì)每類高分辨特征樣本集使用高分辨投影矩陣將其投影到聯(lián)合特征空間上，得到特征空間樣本集Mj；將聯(lián)合特征空間上的樣本集Mj和高分辨圖像高頻細(xì)節(jié)訓(xùn)練集結(jié)合起來得到每類用于字典訓(xùn)練樣本集Yj=MjHjC;(5)對(duì)每類字典訓(xùn)練樣本集Yj=MjHjC={yji}i=1Nj使用聯(lián)合稀疏約束模型：argmin{Dj,αi,β}Σi=1Nj||Dj·αi-yji||2+λ||αi||1+||αi-β||2,s.t.Dj·β=Cjand||β||0<ϵ,進(jìn)行字典訓(xùn)練，從而得到每類樣本的聯(lián)合特征空間字典j∈{1,2,…,C}和高分辨字典j∈{1,2,…,C}，其中Dj=DjMDjH,表示第j類聯(lián)合特征空間字典，表示第j類高分辨字 典，表示第j類訓(xùn)練樣本集Yj中第i個(gè)訓(xùn)練樣本，Nj表示第j類訓(xùn)練樣本集中訓(xùn)練樣本的個(gè)數(shù)，Cj表示樣本的聚類中心，||||2表示l2范數(shù)，||||1表示l1范數(shù)，||||0表示l0范數(shù)，參數(shù)λ用于平衡稀疏度和重建誤差，αi和β表示稀疏表示系數(shù)，ε表示稀疏度閾值，s.t.表示約束條件；(6)對(duì)待處理的低分辨圖像Xt使用bicubic方法插值放大2倍，得到插值圖像X0，對(duì)插值圖像X0提取特征后，對(duì)特征圖像分塊，得到圖像塊i∈{1,2,…,M}，其中，M表示總的圖像分塊數(shù)；(7)利用每類的低分辨投影矩陣把圖像塊投影到聯(lián)合特征空間上，得到每類聯(lián)合特征{f1,f2,…,fC}，利用聯(lián)合特征{f1,f2,…,fC}和對(duì)應(yīng)的每類聯(lián)合特征空間字典進(jìn)行稀疏表示，得到對(duì)應(yīng)的稀疏表示系數(shù){θ1,θ2,…,θC}；(8)利用稀疏表示系數(shù){θ1,θ2,…,θC}和每類高分辨字典使用公式：得到高分辨圖像塊{r1,r2,…,rC}，其中，DjH為第j類高分辨字典，θj表示對(duì)應(yīng)的第j類的稀疏表示系數(shù)，rj表示第j個(gè)高分辨圖像塊重建結(jié)果，C表示聚類個(gè)數(shù)；(9)對(duì)上述的重建結(jié)果{r1,r2,…,rC}，利用小波變換將它們進(jìn)行融合，得到一個(gè)高分辨圖像塊rh；(10)重復(fù)步驟（6）到步驟（9），依次對(duì)M個(gè)低分辨圖像塊處理，得到高分辨圖像R0；(11)對(duì)高分辨圖像R0使用迭代反向投影IBP算法進(jìn)行全局優(yōu)化處理，得到最終重建高分辨圖像RH。FDA00002748584900011.jpg,FDA00002748584900012.jpg,FDA00002748584900013.jpg,FDA00002748584900014.jpg,FDA00002748584900015.jpg,FDA00002748584900016.jpg,FDA00002748584900017.jpg,FDA00002748584900018.jpg,FDA00002748584900019.jpg,FDA000027485849000110.jpg,FDA000027485849000111.jpg,FDA000027485849000112.jpg,FDA000027485849000113.jpg,FDA000027485849000114.jpg,FDA000027485849000115.jpg,FDA000027485849000116.jpg,FDA000027485849000117.jpg,FDA000027485849000121.jpg,FDA000027485849000122.jpg,FDA000027485849000124.jpg,F...

【技術(shù)特征摘要】
1.一種基于聯(lián)合稀疏約束的統(tǒng)一特征空間圖像超分辨重建方法，包括如下步驟: (1)從自然圖像庫中取Z幅常見的自然圖像，60( Z ( 70，使用選取的自然圖像構(gòu)造低分辨圖像梯度特征塊訓(xùn)練集^ = 和高分辨圖像梯度特征塊訓(xùn)練集容=，以及高分辨圖像高頻細(xì)節(jié)塊訓(xùn)練集G，其中, 表示第i個(gè)低分辨圖像梯度特征塊，bi表示第i個(gè)高分辨圖像梯度特征塊，h表示第i個(gè)高分辨圖像高頻細(xì)節(jié)塊，N表示總的圖像塊數(shù)； (2)使用K-均值聚類方法將上述樣本集A、B和H聚成C類，分別得到每類樣本2.根據(jù)權(quán)利要求1所述的基于聯(lián)合稀疏約束的統(tǒng)一特征空間圖像超分辨重建法，其中步驟(I)所述的構(gòu)造低分辨圖像梯度特征塊訓(xùn)練集^ = kH,和高分辨圖像梯度特征塊訓(xùn)練集B = ，以及高分辨圖像高頻細(xì)節(jié)訓(xùn)練集1 =汍丨.；!,，按如下步驟進(jìn)行: Ia)從自然圖像庫中取z幅常見的自然圖像，60 ^ z ^ 70 ;使用降質(zhì)模型:X = SGYjfz幅高分辨圖像進(jìn)行模擬降質(zhì)，得到對(duì)應(yīng)的低分辨圖像庫；接著將得到的低分辨圖像庫中的圖像使用bicubic插值放大2倍，得到低分辨插值圖像W，其中，X表示經(jīng)過降質(zhì)后得到的低分辨圖像，Y表示原始的高分辨圖像，G表示高斯模糊矩陣，S表示下采樣矩陣； Ib)對(duì)高分辨圖像Y和插值圖像W提取梯度特征，并對(duì)所得的特征圖像進(jìn)行分塊，插值特征圖像分成大小為6X6的圖像塊％以及相對(duì)應(yīng)的高分辨特征圖像分成大小為9X9的圖像塊bp最終得到低分辨特征樣本集』=k已和高分辨特征樣本集S = 匕;對(duì)圖像庫中的高分辨圖像Y提取它們的高頻信息，并分成大小為9X9的圖像塊h，得到高分辨圖像高頻細(xì)節(jié)訓(xùn)練集1 =汍匕-3.根據(jù)權(quán)利要求1所述的基于聯(lián)合稀疏約束的統(tǒng)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張小華，代坤鵬，焦李成，侯彪，田小林，馬文萍，馬晶晶，朱文杰，劉偉，
申請(qǐng)(專利權(quán))人：西安電子科技大學(xué)，
類型：發(fā)明
國(guó)別省市：