基于反向流形約束的魯棒性人臉超分辨率處理方法及系統技術方案

本發明專利技術公開了一種基于反向流形約束的魯棒性人臉超分辨率處理方法及系統，包括：S1：構建訓練庫；S2：將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交疊部分的圖像塊；S3：逐一建立訓練庫中各高分辨率圖像塊的局部流行空間；S4：逐一建立各待處理圖像塊的高分辨率局部流行空間和低分辨率局部流行空間，并構建各待處理圖像塊的投影矩陣；S5：采用投影矩陣恢復對應的待處理圖像塊，獲得待估圖像塊；S6：拼接待估圖像塊得待估高分辨率人臉圖像。本發明專利技術采用高分辨率局部流形空間的距離度量來決定低分辨率局部流形空間，對于低質量環境下人臉圖像的恢復，在主觀質量上可以得到明顯的提升，尤其適用于監控環境下損毀嚴重的人臉圖像恢復。

【技術實現步驟摘要】

本專利技術涉及圖像處理和圖像恢復
，具體涉及一種基于反向流形約束的魯 棒性人臉超分辨率處理方法及系統。
技術介紹
人臉超分辨率技術是通過輔助訓練庫，學習高低分辨率對應關系，進而達到從已 有的低分辨率人臉圖像中估計出高分辨率人臉圖像的目的。人臉超分辨率現在被廣泛應用 于多個領域，其中最具代表性的領域之一就是監控錄像中的人臉圖像增強。隨著監控系統 的廣泛普及，監控視頻在刑事取證和刑偵調查過程中發揮著越來越重要的作用。而人臉圖 像作為直接證據之一，在案件分析和法庭取證中占據著重要的位置。然而，由于現有條件 下，目標嫌疑人與攝像頭距離相對較遠，捕捉到的監控人臉可用像素非常少，兼之真實情況 下由于惡劣天氣（例如：雨霧）、光照（例如：光照過強、過暗、明暗不均）、器件等因素對捕 獲的圖像引發的嚴重損毀（例如：嚴重的模糊和噪聲），圖像恢復、放大和辨識往往受到嚴 重的干擾。這就需要用到人臉超分辨率技術提升圖像分辨率，從低分辨率圖像恢復到高分 辨率圖像。 近年來，流形學習逐漸成為了人臉超分辨率的主流方法。這類方法的核心思想是： 描述低分辨率圖像的流形空間關系，尋找出每個低分辨率圖像數據點周圍的局部性質，然 后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空 間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang等首 次將流形學習法引入圖像超分辨率重構中，提出了一種鄰域嵌入的圖像超分辨率重構法。 SungWonPark提出一種基于局部保持投影的自適應流形學習方法，從局部子流形分析 人臉的內在特征，重構出低分辨率圖像缺失的高頻成分。2005年，Wang提出一種基于 PCA(Principalcomponentanalysis，主成分分析）分解的方法，把低分辨率待處理圖像用 低分辨率空間的主成分的線性組合表示，投影系數到對應的高分辨率主成分空間獲得最終 結果。該方法對噪聲具有較好的魯棒性，但是仍然在結果圖像的邊緣存在鬼影、混疊的現 象。2014年，Dong提出基于局部特征分解的人臉超分辨率方法，通過局部空間采用主成 分分析的方法，將全局空間的結果分解到，間延伸至CCA空間，進一步解決了這個問題。同 年，Lan針對監控環境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出在傳統 PCA架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來 人工添加形狀特征點作為約束。 綜上所述，現有的這些流形方法大多僅按照傳統的技術思路以低分辨率空間的信 息為基礎，而相比較高分辨率空間而言，低分辨率空間的建立本身已經丟失了非常多的信 息，缺乏針對性的篩選和有效約束。因此恢復出的圖像包含有較多的信息偏差，當待處理圖 像含有較嚴重的毀壞混疊時，圖像恢復效果并不令人滿意。 文中涉及如下參考文獻： H.Chang,D. -Y.Yeung,andY.Xiong,αSuper-resolutionthroughneighbor embedding,'，inProc.IEEEConf.Comput.Vis.PatternRecog. ,Jul. 2004,pp. 275 - 282. SungWonPark,Savvides,M.^BreakingtheLimitationofManifold AnalysisforSuper-ResolutionofFacialImages"，ICASSP,pp:573-576, 2007. XiaogangWangandXiaoouTang,"Hallucinatingfacebyeigentrans formation,'，Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEE Transactionson,vol. 35,no. 3,pp. 425 - 434, 2005. XiaohuiDong,RuiminHu,JunjunJiang,ZhenHan,Liang Chen,andGeGao,NoiseFaceImageHallucinationviaData-DrivenLocal Eigentransformation,SpringerInternationalPublishing, 2014. CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshape semanticmoderegularization.IEEEInternationalConferenceonImage Processing(ICIP), 2021 - 2024, 26-29Sept. 2010.
技術實現思路
針對現有技術存在的問題，本專利技術提供了一種基于反向流形約束的魯棒性人臉超 分辨率處理方法及系統，尤其適用于損毀嚴重的人臉圖像恢復。 為了解決上述技術問題，本專利技術采用如下的技術方案： -、一種基于反向流形約束的魯棒性人臉超分辨率處理方法，包括：S1構建包含高分辨率人臉圖像庫及其對應的低分辨率人臉圖像庫的訓練庫；S2采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交 疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為待處理圖像塊，劃 分訓練庫中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為高分辨率圖像塊 和低分辨率圖像塊；對高分辨率圖像塊和低分辨率圖像塊分別編號，并使高分辨率圖像塊 和其對應的低分辨率圖像塊編號相同；S3在訓練庫中找尋各高分辨率圖像塊少f在歐式空間的K近鄰高分辨率圖像塊，該 K近鄰高分辨率圖像塊的編號集為得對應的低分辨率圖像塊彳的高分辨率局部流 行空間{χΓ?#和低分辨率局部流行空間·(#1胃,，K為經驗值，Pl表示高分辨率圖像塊 和低分辨率圖像塊的編號；S4在訓練庫中找尋各待處理圖像塊xf在歐式空間的K'近鄰低分辨率圖像塊，各 κ'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行空間構成.yf的局部 流行空間，根據<的局部流行空間構建投影矩陣；κ'為經驗值，與κ相等或不相等；S5 :采用投影矩陣恢復對應的待處理圖像塊，獲得待估圖像塊；S6 :拼接待估圖像塊得待估高分辨率人臉圖像。S1具體為： 將高分辨率人臉圖像庫中高分辨率人臉圖像位置對齊，并進行降質處理，得對應 的低分辨率人臉圖像庫，高分辨率人臉圖像庫和低分辨率人臉圖像庫構成訓練庫； 同時，在S2之前，使待處理低分辨率人臉圖像與訓練庫中圖像大小相同，且位置 對齊。 所述的位置對齊采用仿射變換法將進行位置對齊。 S5中所獲得待估圖像塊J'f ，其中，彳表示待處理圖像塊，Mp表示彳的投 影矩陣。 二、一種基于反向流形約束的魯棒性人臉超分辨率處理系統，包括：訓練庫構建模塊，用來構建包含高分辨率人臉圖像庫及其對應的低分辨率人臉圖 像庫的訓練庫；圖像塊劃分模塊，用來采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫 中圖像劃分為具交疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為 待處理圖像塊，劃分訓練庫中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為 高分辨率圖像塊和低分辨率圖像塊；對高本文檔來自技高網...

【技術保護點】
一種基于反向流形約束的魯棒性人臉超分辨率處理方法，其特征是，包括：S1構建包含高分辨率人臉圖像庫及其對應的低分辨率人臉圖像庫的訓練庫；S2采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為待處理圖像塊，劃分訓練庫中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為高分辨率圖像塊和低分辨率圖像塊；對高分辨率圖像塊和低分辨率圖像塊分別編號，并使高分辨率圖像塊和其對應的低分辨率圖像塊編號相同；S3在訓練庫中找尋各高分辨率圖像塊在歐式空間的K近鄰高分辨率圖像塊，該K近鄰高分辨率圖像塊的編號集為得對應的低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行空間K為經驗值，pl表示高分辨率圖像塊和低分辨率圖像塊的編號；S4在訓練庫中找尋各待處理圖像塊在歐式空間的K'近鄰低分辨率圖像塊，各K'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行空間構成的局部流行空間，根據的局部流行空間構建投影矩陣；K'為經驗值，與K相等或不相等；S5：采用投影矩陣恢復對應的待處理圖像塊，獲得待估圖像塊；S6：拼接待估圖像塊得待估高分辨率人臉圖像。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：胡瑞敏，陳亮，韓鎮，陳軍，江俊君，魏雪麗，丁新，李青，馬蕓，楊振國，關健，
申請(專利權)人：武漢大學，
類型：發明
國別省市：湖北;42