基于K近鄰重識別的人臉超分辨率重建方法技術

本發明專利技術公開了一種基于K近鄰重識別的人臉超分辨率重建方法，將待重建低分辨率人臉圖像、高分辨率訓練集和低分辨率訓練集內樣本圖像分別劃分為相互交疊的圖像塊；對待重建低分辨率人臉圖像的各圖像塊，根據高分辨率流形的幾何信息更可信且更具有代表性這一先驗，同時利用低分辨率流形和高分辨率流形的幾何信息對識別出的近鄰圖像進行更新，計算由重新識別出的近鄰圖像塊進行線性重建時的最優權重系數；將重新識別出的近鄰圖像塊，用一一對應的高分辨率訓練集內相應圖像的相應位置圖像塊進行替換，加權合成高分辨率圖像塊；按照合成圖像塊在人臉上的位置，融合成高分辨率人臉圖像。本發明專利技術具有更高的重建精度和重建效率，可重建高質量的人臉圖像。?

【技術實現步驟摘要】
【專利摘要】本專利技術公開了一種基于K近鄰重識別的人臉超分辨率重建方法，將待重建低分辨率人臉圖像、高分辨率訓練集和低分辨率訓練集內樣本圖像分別劃分為相互交疊的圖像塊；對待重建低分辨率人臉圖像的各圖像塊，根據高分辨率流形的幾何信息更可信且更具有代表性這一先驗，同時利用低分辨率流形和高分辨率流形的幾何信息對識別出的近鄰圖像進行更新，計算由重新識別出的近鄰圖像塊進行線性重建時的最優權重系數；將重新識別出的近鄰圖像塊，用一一對應的高分辨率訓練集內相應圖像的相應位置圖像塊進行替換，加權合成高分辨率圖像塊；按照合成圖像塊在人臉上的位置，融合成高分辨率人臉圖像。本專利技術具有更高的重建精度和重建效率，可重建高質量的人臉圖像。【專利說明】基于K近鄰重識別的人臉超分辨率重建方法
本專利技術涉及圖像超分辨率領域，具體涉及一種基于K近鄰重識別的人臉超分辨率重建方法。
技術介紹
人臉圖像，相對于其他類型的生物特征(如指紋、虹膜、視網膜等)，可以采用更方便、自然、直接的方式獲得。因為人臉圖像的獲取是一種非侵入性方式，因此，基于人臉圖像的應用得到了廣泛的開發和研究。然而，許多情況下，由于攝像機與人臉的距離很遠，使得視頻所拍攝到的人臉圖像往往只有幾十像素。由于人臉圖像分辨率太低，丟失了過多的細節信息，人或者機器在識別監控攝像機拍攝的人臉過程中困難重重。因此，提高監控錄像中低質量人臉圖像分辨率的人臉超分辨率技術應運而生，它是一種由低分辨率(Low-Resolution, LR)人臉圖像產生高分辨率(High-Resolution, HR)人臉圖像的技術,其在智能視頻監控、公安刑事偵查、信息安全等領域具有廣泛的應用背景。根據輸入圖像的數目，超分辨率方法可以分成基于多幀低分辨率圖像的重建方法和基于單幀低分辨率圖像進行學習的方法兩大類，其中，后者能獲得更高的放大倍數和更好的重建效果，因而更受關注。這類方法利用構成訓練集的高低分辨率圖像對的先驗信息，對輸入的一張低分辨率人臉圖像，可以超分辨率重建一張高分辨率人臉圖像。人臉超分辨方法借鑒了普通圖像超分辨方法的精華思想。例如，2004年Chang等人基于著名的流形學習理論，采用高低分辨率樣本庫具有相似局部幾何特征這一假設，提出一種鄰域嵌入的圖像超分辨率重建方法，首次將流形學習思想引入圖像超分辨率重建中，獲得很好的重建效果。但是，該方法所選擇的近鄰塊數是固定的，在對輸入圖像塊進行表示時，會出現過擬合或擬合不當的問題。由于人臉具有結構性較強的特點，并且人臉位置信息在人臉超分辨重建過程中具有重要作用，通過學習結構信息可以實現更精確的人臉超分效果。因此，在Chang等人的方法基礎上，人臉超分領域近年來提出了很多基于人臉位置塊的超分辨率方法，其中最有代表性的是2010年Ma等人ω提出的人臉超分辨率方法，該方法使用訓練集中所有與輸入圖像塊同位置的人臉圖像塊重建高分辨率人臉圖像，避免流形學習或者特征提取等步驟，提高了效率，同時也提升了合成圖像的質量。然而，由于該方法采用最小二乘法進行求解，當訓練樣本中圖像的個數比圖像塊的維數大時，圖像塊的表示系數并不唯一。針對這一問題，2011年Jung等人Μ將稀疏約束加入到圖像塊求解表示中，提出一種基于凸優化的位置圖像塊人臉超分辨率方法，可以解決方程的解不唯一的問題。但該方法在合成輸入的圖像塊時為了使輸入圖像塊的表示盡量稀疏，可能選取一些與輸入的圖像塊差異很大的圖像塊進行線性重建，因此重建效果并不理想。2012年Jiang等人提出一種基于局部約束表示的人臉超分辨率重建方法，該方法在合成輸入的圖像塊時，在低分率空間比較訓練集中的每個塊與輸入的圖像塊的相似度，并按照相似度分配權重。然而，由于低分辨圖像丟失了細節信息，在低分辨率空間相似的兩個圖像塊，它們對應的高分辨率圖像塊可能并不相似，因此用不相似的高分辨塊重建圖像，重建效果仍然不能令人滿意。無論是使用協作性、稀疏M還是局部約束，上述所有方法都是通過探索合理的先驗知識，查找最具代表性的圖像塊從而獲得最佳的重建權重來實現人臉超分辨率。因此，如何獲取最合理的K近鄰是最首要問題。此外，上述方法僅考慮了一個流形空間(低分辨率塊流形)，忽略幾何信息更可信并且具有代表性的高分辨率塊流形信息。
技術實現思路
針對現有技術存在的不足，本專利技術提供了一種基于K近鄰重識別的人臉超分辨率重建方法，具有更高的重建精度和重建效率，可提高重建的高分辨率人臉圖像質量。為解決上述技術問題，本專利技術采用如下的技術方案:基于K近鄰重識別的人臉超分辨率重建方法，包括步驟:步驟1，將待重建低分辨率人臉圖像、低分辨率訓練集中低分辨率樣本圖像及高分辨率訓練集中高分辨率樣本圖像劃分為數量相等的相互重疊圖像塊，所述的低分辨率樣本圖像和所述的高分辨率樣本圖像—對應；步驟2，對待重建低分辨率人臉圖像中各圖像塊V分別進行超分辨率重建，本步驟進一步包括子步驟:2.1從高分辨率訓練集和低分辨率訓練集樣本圖像中提取與圖像塊Xf <位置相同的圖像塊，構成圖像塊4的高分辨率訓練樣本圖像塊集Htl和低分辨率訓練樣本圖像塊集Lq;`2.2從圖像塊Xqt的低分辨率訓練樣本圖像塊集Ltl中找出圖像塊Xc!的k個近鄰圖像塊，構成圖像塊xj的低分辨率樣本圖像塊近鄰序列η.，2.3從圖像塊< 的高分辨率訓練樣本圖像塊集Htl中找出與低分辨率樣本圖像塊近鄰序列Lik對應的圖像塊，構成高分辨率樣本圖像塊序列Hf ;對高分辨率樣本圖像塊序列Hl中k個圖像塊中的每一個圖像塊，從高分辨率訓練樣本圖像塊集Htl中找出其對應的kre個近鄰圖像塊，得到k*kM個高分辨率圖像塊；2.4從步驟2.3得到的k*kM個高分辨率圖像塊中找出重復次數最多的前個高分辨率圖像塊，構成高分辨率樣本圖像塊集;從低分辨率訓練樣本圖像塊集Lq中找出與高分辨率樣本圖像塊集中圖像塊對應的個低分辨率圖像塊，構成用于圖像塊Xf重建的低分辨率樣本圖像塊集ZL.2.5采用低分辨率樣本圖像塊集Gre對圖像塊 < 進行線性重建，獲得低分辨率樣本圖像塊集中各圖像塊對圖像塊Xf線性重建的最優權值系數；2.6用高分辨率樣本圖像塊集Η:中的圖像塊與步驟2.5得到的最優權值系數加權合成圖像塊#的重建圖像塊；步驟3，基于重建圖像塊獲得高分辨率人臉圖像。步驟I中所述的將待重建低分辨率人臉圖像、低分辨率訓練集中低分辨率樣本圖像及高分辨率訓練集中高分辨率樣本圖像劃分為數量相等的相互重疊圖像塊，具體為:以待劃分圖像左上方為起點，選取圖像塊，使圖像塊上方和左方與圖像已劃分部分有像素交疊，圖像塊上邊邊緣或左邊邊緣位于待劃分圖像上邊邊緣或左邊邊緣時除外；當圖像塊超出待劃分圖像的右邊邊緣或下邊邊緣時，以待劃分圖像右邊邊緣或下邊邊緣為界，向左或上移動圖像塊至圖像塊右邊邊緣或下邊邊緣與待劃分圖像的右邊邊緣或下邊邊緣重合。步驟2.2中所述的從圖像塊Xf的低分辨率訓練樣本圖像塊集Ltl中找出圖像塊Xf的k個近鄰圖像塊，具體為:從低分辨率訓練樣本圖像塊集Ltl中選出與圖像塊X/歐氏距離最近的k個圖像塊，即為圖像塊 < 的k個近鄰圖像塊。步驟2.5具體為:圖像塊Xf線性重建的最優權值系數滬1由下式獲得:【權利要求】1.基于K近鄰重識別的人臉超分辨率重建方法，其特征在于，本文檔來自技高網...

【技術保護點】
基于K近鄰重識別的人臉超分辨率重建方法，其特征在于，包括步驟：步驟1，將待重建低分辨率人臉圖像、低分辨率訓練集中低分辨率樣本圖像及高分辨率訓練集中高分辨率樣本圖像劃分為數量相等的相互重疊圖像塊，所述的低分辨率樣本圖像和所述的高分辨率樣本圖像一一對應；步驟2，對待重建低分辨率人臉圖像中各圖像塊分別進行超分辨率重建，本步驟進一步包括子步驟：2.1從高分辨率訓練集和低分辨率訓練集樣本圖像中提取與圖像塊位置相同的圖像塊，構成圖像塊的高分辨率訓練樣本圖像塊集Hq和低分辨率訓練樣本圖像塊集Lq；2.2從圖像塊的低分辨率訓練樣本圖像塊集Lq中找出圖像塊的k個近鄰圖像塊，構成圖像塊的低分辨率樣本圖像塊近鄰序列2.3從圖像塊的高分辨率訓練樣本圖像塊集Hq中找出與低分辨率樣本圖像塊近鄰序列對應的圖像塊，構成高分辨率樣本圖像塊序列對高分辨率樣本圖像塊序列中k個圖像塊中的每一個圖像塊，從高分辨率訓練樣本圖像塊集Hq中找出其對應的kre個近鄰圖像塊，得到k*kre個高分辨率圖像塊；2.4從步驟2.3得到的k*kre個高分辨率圖像塊中找出重復次數最多的前kre個高分辨率圖像塊，構成高分辨率樣本圖像塊集從低分辨率訓練樣本圖像塊集Lq中找出與高分辨率樣本圖像塊集中圖像塊對應的kre個低分辨率圖像塊，構成用于圖像塊重建的低分辨率樣本圖像塊集2.5采用低分辨率樣本圖像塊集對圖像塊進行線性重建，獲得低分辨率樣本圖像塊集中各圖像塊對圖像塊線性重建的最優權值系數；2.6用高分辨率樣本圖像塊集中的圖像塊與步驟2.5得到的最優權值系數加權合成圖像塊的重建圖像塊；步驟3，基于重建圖像塊獲得高分辨率人臉圖像。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：胡瑞敏，渠慎明，江俊君，王中元，陳亮，黃震坤，胡金輝，
申請(專利權)人：武漢大學，
類型：發明
國別省市：