一種人臉矯正方法及系統技術方案

本發明專利技術公開了一種人臉矯正方法及系統，方法包括：設置一標準臉，得到標準點，所述標準點至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5個特征點；從上述標準點中選擇不同特征點，對輸入的不同偏轉角度的人臉使用不同計算相似變換參數的方式，對多偏轉角度的人臉進行矯正；當偏轉角在第一偏轉角度閾值內，則采用基于左右兩眼球中心的坐標計算相似變換的參數；當偏轉角在第二偏轉角度閾值內，則采用基于兩眼球的中間的坐標和兩嘴角中間的坐標計算相似變換的參數；當偏轉角在第三偏轉角度閾值內，則采用基于單側特征點計算相似變換參數。本發明專利技術對于偏轉角度較大的人臉不會使人臉過長；設立了對于偏轉角度特別大以至于只含有單側特征點的人臉的矯正標準。

Method and system for correcting human face

The invention discloses a correction method and system, face method includes setting a standard face, get the standard, the standard includes at least 5 feature points left eye center, right eye center, left and right nose, mouth mouth; choose different feature points from the standard point, face different deflection angle of the input using different calculation parameters of similarity transformation, face of the deflection angle correction; when the deflection angle of deflection angle in the first threshold, the coordinates of about two eye center based on the calculation of similarity transformation parameters; when the deflection angle of deflection angle in the second threshold, using similar transformation the parameters of coordinate calculation of intermediate coordinate between two and two eye mouth based on; when the bias angle in the third angle threshold, the unilateral feature points based on similarity calculation Transformation parameter. The invention does not make the face long for a person with a large deflection angle, and establishes a correction standard for a face with a particularly large deflection angle so that only one side feature point is included.

【技術實現步驟摘要】
一種人臉矯正方法及系統
本專利技術涉圖像識別領域，特別涉及一種人臉矯正方法及系統，有效解決實際場景中多偏轉角度人臉的矯正問題。
技術介紹
在計算機視覺領域，人臉識別一直以來都在學術界和工業界的應用廣泛。學術上的熱門和工業市場的迫切需求，使得圍繞該方向的核心技術自深度學習爆發以來，得到了更為迅猛的發展。得益于深度學習，當前計算機對人臉屬性的分析判斷在某些(姿態、光照)限制條件下已經媲美甚至超越人類，但是如何在非限制條件下，使計算機獲取和人類一樣，從姿態萬千的人臉圖像中依然能夠進行識別的能力，是一項非常具有挑戰性的工作。其中，人臉矯正是人臉屬性分析中至關重要的一步，能夠直接影響整體性能的好壞。在深度學習之前就有許多優秀的方法被提出，比如，ASM算法和AAM算法，這些方法能夠在人臉變化不大的條件下取得比較好的效果，但是對于一些發生遮擋或者姿態角度偏大的情況就差強人意了；在深度學習出來之后，一些基于深度學習的方法雖然能夠解決上述部分問題，但是對姿態角度偏大的情況仍然無能為力。而利用3D人臉可變模型來解決2D圖像中姿態角度偏大問題，該方法能夠使3D人臉模型“學習”2D圖像中人臉在拍照時候的姿勢狀態。給神經網絡輸入通用正面人臉模板模型和2D圖像，神經網絡識別獲取圖像中人臉的姿態角度參數矩陣，利用這些參數就可以使模型“做出”和圖像中人臉同樣的臉部朝向。但是實際場景中，很多時候都是非正面的；還有方式是多角度人臉識別技術。該技術包含兩個核心部分，表示學習和圖像生成。表示學習是指在某一個場景下獲取的多張不同姿態的圖像，將這些圖像作為輸入，通過提出的DR-GAN網絡模型，產生一個固定長度的特征向量，該向量表示的是這個人的特征，與姿態光照無關，同時該網絡還可以根據輸入的Noise/Pose編碼，生成不同姿態的人臉。基于上述，現有的人臉矯正技術具體包括步驟：通過人臉檢測，找到雙眼的位置，然后根據坐標，找到旋轉角度，然后進行旋轉。比如，基于兩眼球中心的兩點相似變換，缺點為：對于偏轉角較大的人臉，會使得人臉拉的過長，額頭或下巴部分很容易超出預設圖片大小。對于偏轉角度特別大的人臉可能只有單側臉可見。又比如，基于兩眼球中心和鼻尖的三點仿射變換，缺點為：容易使人臉變形，對于角度特別大的人臉可能只有單側臉可見。
技術實現思路
本專利技術要解決的技術問題是，解決實際場景中多偏轉角度人臉的矯正問題。解決上述技術問題，本專利技術提供了一種人臉矯正方法包括如下步驟：設置一標準臉，得到標準點，所述標準點至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5個特征點；從上述標準點中選擇不同特征點，對輸入的不同偏轉角度的人臉使用不同計算相似變換參數的方式，對多偏轉角度的人臉進行矯正；當偏轉角在第一偏轉角度閾值內，則采用基于左右兩眼球中心的坐標計算相似變換的參數；當偏轉角在第二偏轉角度閾值內，則采用基于兩眼球的中間的坐標和兩嘴角中間的坐標計算相似變換的參數；當偏轉角在第三偏轉角度閾值內，則采用基于單側特征點計算相似變換參數。更進一步，所述第二偏轉角度閾值為：30～60度，基于兩眼球中間的坐標和兩嘴角與鼻尖三點中間的坐標的兩點相似變換，具體所要求的方程組如下：根據所述參數r，θ以及tx,ty對原人臉圖片進行寬為Wdst和高為Hdst的相似變換。更進一步，所述第三偏轉角度閾值為：60～90度，基于單側的眼球中心坐標、單側的嘴角坐標的兩點相似變換，具體要求左側臉所要求的方程組如下：右側臉所要求的方程組如下：根據所述參數r，θ，tx,ty對原人臉圖片進行寬為Wdst和高為Hdst的相似變換。更進一步，所述第一偏轉角度閾值為：0～30度，基于左右兩個眼球的兩點相似變換，具體要求的方程組如下：根據所述參數r，θ，tx,ty對原人臉圖片進行寬為Wdst和高為Hdst的相似變換。更進一步，所述相似變換進一步包括：平移變換，包括在坐標軸上的tx,ty兩個參數，分別代表兩個方向上的平移量；用以進行位置的變換；尺度變換，包括尺度參數r，代表圖片的放大縮小系數；旋轉變換指的是圖片的旋轉，有旋轉參數θ，代表旋轉的角度，用以進行圖片的放大或者縮小。更進一步，所述相似變換包括：對圖片進行至少平移變換、尺度變換、旋轉變換中一種或多種的變換的變換。更進一步，所述采用基于單側特征點計算相似變換參數至少包括如下兩組參數：{左眼球中心、鼻尖、左嘴角}{右眼球中心、鼻尖、右嘴角}。更進一步，所述第一偏轉角度閾值、第二偏轉角度閾值以及第三偏轉角度閾值內屬于{0-90°}的集合。本專利技術還提供了一種人臉識別方法，還包括所述的人臉矯正方法?；谏鲜龇椒?，本專利技術還提供了一種人臉矯正系統，包括：標準化單元、角度判斷單元、第一矯正單元、第二矯正單元、第三矯正單元，所述標準化單元，用以設置一標準臉，得到標準點，所述標準點至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5個特征點；所述角度判斷單元，用以從上述標準點中選擇不同特征點，對輸入的不同偏轉角度的人臉使用不同計算相似變換參數的方式，對多偏轉角度的人臉進行矯正；所述第一矯正單元，用以當偏轉角在第一偏轉角度閾值內，則采用基于左右兩眼球中心的坐標計算相似變換的參數；所述第二矯正單元，用以當偏轉角在第二偏轉角度閾值內，則采用基于兩眼球的中間的坐標和兩嘴角中間的坐標計算相似變換的參數；所述第三矯正單元，用以當偏轉角在第三偏轉角度閾值內，則采用基于單側特征點計算相似變換參數。本專利技術的有益效果：本專利技術是在已經獲得人臉5個特征點的基礎上，通過5個特征點的關系，計算人臉的偏轉角度，針對不同的偏轉角度用不同的特征點計算相似變換的參數，從而對人臉進行基于相似變換地矯正，進而有效解決實際場景中多偏轉角度的人臉矯正問題。采用本專利技術的方法不會使人臉變形；對于偏轉角度較大的人臉不會使人臉過長；設立了對于偏轉角度特別大以至于只含有單側特征點的人臉的矯正標準。此外，本專利技術根據不同偏轉角度使用不同人臉矯正策略，以及30-60偏轉角度和60-90偏轉角度的人臉矯正策略。附圖說明圖1是本專利技術一實施例中的方法流程示意圖；圖2是本專利技術一優選實施例中的方法流程示意圖；圖3是本專利技術一實施例中的系統結構示意圖；圖4為本專利技術中偏轉角小于30度人臉的矯正前后效果示意圖；圖5為偏轉角大于30度小于60度人臉的分別在矯正之前、用兩眼計算變換參數和用本專利技術的方法計算變換參數的對比圖；圖6為本專利技術中偏轉角大于60度左側人臉的矯正前后的效果示意圖；圖7為本專利技術中大于60度右側人臉的矯正前后的效果示意圖。具體實施方式現在將參考一些示例實施例描述本公開的原理?？梢岳斫?，這些實施例僅出于說明并且幫助本領域的技術人員理解和實施例本公開的目的而描述，而非建議對本公開的范圍的任何限制。在此描述的本公開的內容可以以下文描述的方式之外的各種方式實施。如本文中所述，術語“包括”及其各種變體可以被理解為開放式術語，其意味著“包括但不限于”。術語“基于”可以被理解為“至少部分地基于”。術語“一個實施例”可以被理解為“至少一個實施例”。術語“另一實施例”可以被理解為“至少一個其它實施例”。本領域技術人員能夠明了，相似變換是一種保持形狀不變的變換方式，能夠實現平移、旋轉和尺度三種變換，十分適用于人臉矯正任務?？梢岳斫猓旧暾堉械娜四槼C本文檔來自技高網...

【技術保護點】
一種人臉矯正方法，其特征在于包括如下步驟：設置一標準臉，得到標準點，所述標準點至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5個特征點；從上述標準點中選擇不同特征點，對輸入的不同偏轉角度的人臉使用不同計算相似變換參數的方式，對多偏轉角度的人臉進行矯正；當偏轉角在第一偏轉角度閾值內，則采用基于左右兩眼球中心的坐標計算相似變換的參數；當偏轉角在第二偏轉角度閾值內，則采用基于兩眼球的中間的坐標和兩嘴角中間的坐標計算相似變換的參數；當偏轉角在第三偏轉角度閾值內，則采用基于單側特征點計算相似變換參數。

【技術特征摘要】
1.一種人臉矯正方法，其特征在于包括如下步驟：設置一標準臉，得到標準點，所述標準點至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5個特征點；從上述標準點中選擇不同特征點，對輸入的不同偏轉角度的人臉使用不同計算相似變換參數的方式，對多偏轉角度的人臉進行矯正；當偏轉角在第一偏轉角度閾值內，則采用基于左右兩眼球中心的坐標計算相似變換的參數；當偏轉角在第二偏轉角度閾值內，則采用基于兩眼球的中間的坐標和兩嘴角中間的坐標計算相似變換的參數；當偏轉角在第三偏轉角度閾值內，則采用基于單側特征點計算相似變換參數。2.根據權利要求1所述的人臉矯正方法，其特征在于，所述第二偏轉角度閾值為：30～60度，基于兩眼球中間的坐標和兩嘴角與鼻尖三點中間的坐標的兩點相似變換，具體所要求的方程組如下：根據所述參數r，θ以及tx,ty對原人臉圖片進行寬為Wdst和高為Hdst的相似變換。3.根據權利要求1所述的人臉矯正方法，其特征在于，所述第三偏轉角度閾值為：60～90度，基于單側的眼球中心坐標、單側的嘴角坐標的兩點相似變換，具體要求左側臉所要求的方程組如下：右側臉所要求的方程組如下：

【專利技術屬性】
技術研發人員：熊風燁，白洪亮，董遠，
申請(專利權)人：北京飛搜科技有限公司，
類型：發明
國別省市：北京,11