一種結合局部和全局特征的無約束人臉驗證方法技術

本發明專利技術提供一種結合局部和全局特征的無約束人臉驗證方法，首先整理人臉樣本庫，每個人包含不同姿態、不同環境和不同時間的多張人臉照，提取人臉的68個特征點；然后根據人臉特征點提取人臉的局部特征和整體特征共5種特征，并將這5種特征映射到核空間；然后在訓練集上使用這5種特征分別使用級聯貝葉斯方法訓練得到5組模型；在人臉驗證階段，首先提取輸入圖像的人臉特征，然后根據訓練的模型分別計算5組特征對的相似度，最后以5組相似度的平均值作為最終相似度，從而判斷兩人是否為同一個人。本發明專利技術結合考慮了人臉的局部特征和整體特征，解決了室外無約束環境下的人臉驗證問題。

An unconstrained face verification method combining local and global features

No verification method of constraint face the invention provides a combination of local and global features, firstly face database, each containing multiple face different attitude and different environment and different time, 68 feature extraction face; then according to the local features and the whole features of facial feature extraction face a total of 5 the characteristics, and the 5 features are mapped to kernel space; the 5 features are then used in the training set were used to cascade Bayesian method training 5 group model; in the first stage of face verification, facial feature extraction of the input image, then according to the training model to calculate the similarity of two features of 5 groups, and finally to the average the value of 5 groups of similarity as the final similarity, so as to judge whether the two person is the same person. The invention combines the local feature and the integral feature of the face, and solves the problem of face verification in the outdoor unconstrained environment.

【技術實現步驟摘要】
一種結合局部和全局特征的無約束人臉驗證方法
本專利技術涉及計算機視覺領域，具體涉及一種結合局部和全局特征的無約束人臉驗證方法。
技術介紹
人臉識別有兩個方向：人臉驗證和人臉身份識別，其中，人臉驗證指判斷兩張臉是否為同一個人，人臉身份識別從一個人臉庫中找到給定的這張人臉對應的身份。由于室外無約束環境下的人臉圖片存在光照、姿態、年齡、裝束等多種影響，使得室外無約束環境下的人臉驗證難度非常大。近幾年提出了很多方法來改善無約束環境下的人臉驗證，這些方法大概可以分為兩類：基于特征的方法和基于度量學習的方法。對于第一類方法，目標在于提取魯棒的、有區分性的特征，希望不同人的人臉特征能盡可能的不同，經典的人臉特征描述算子包括SIFT、LBP、PEM和fisher人臉等。基于度量學習的方法則是通過帶標記的樣本數據學習出一種距離度量算法，在該算法框架下，相同的人臉距離更小而不同的人臉距離更大，經典的距離度量算法有LDML、CSML、PCCA和PMML等算法。目前，已有一些人臉驗證方法被公開，比如：中國專利技術專利“基于類內類間距離的人臉驗證方法201310589074.9”和“一種基于特征學習的跨年齡人臉驗證方法201510270145.8”都是針對整張人臉提取全局特征，容易受到諸如被驗證人戴帽子、眼鏡以及表情等局部屬性干擾。中國專利技術專利“一種基于多姿態識別的人臉驗證方法及裝置201410795404.4”需要采集至少兩張人臉照片，當樣本庫里只有一張人臉照片時，該方法就失效了。中國專利技術專利“一種基于分塊深度神經網絡的非限制環境人臉驗證方法201310664180.9”雖然將人臉劃分為多個區域，并按塊提取特征，但是其劃分區域是隨意劃分的，沒有考慮人臉的五官分布。
技術實現思路
本專利技術要解決的技術問題是提供一種結合局部和全局特征的無約束人臉驗證方法，結合考慮了人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征這些局部特征和人臉的全局特征，通過級聯貝葉斯模型為兩張人臉的各部分特征相似度打分，最后取相似度均值，從而可以有效的規避局部裝束等外在影響造成的識別效果不佳。為解決上述技術問題，本專利技術的實施例提供一種結合局部和全局特征的無約束人臉驗證方法，包括以下步驟：步驟1，整理人臉訓練樣本集，樣本集包含一萬個人的人臉圖片，每個人包含至少15張以上不同姿態、不同環境、不同時間的人臉照；步驟2，檢測樣本集圖片中的人臉區域并提取68個特征點，然后進行人臉校準和歸一化處理；步驟3，根據步驟2得到的68個特征點，提取人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征、以及人臉的全局特征；步驟4，將步驟3得到的5種特征分別使用RBF核函數投影到易區分的非線性空間；步驟5，將步驟4得到的5種特征分別使用級聯貝葉斯算法訓練，得到5組協方差矩陣A和G；步驟6，人臉驗證階段，針對輸入的兩張圖片，使用步驟3中的方法得到兩張人臉照的5種特征，并投影到非線性空間，得到兩個人的5種特征，表示為和；步驟7，使用步驟5中得到的兩個矩陣A和G，分別計算步驟6中的5對特征的相似度，計算公式為：；步驟8，計算步驟7中5對相似度的平均值，得到最終的相似度值，與閾值相比從而判斷出兩個人是否為同一個人。其中，所述步驟2中提取人臉上的68個特征點的具體步驟為：步驟2-1，針對輸入圖片，采用基于Adaboost的人臉檢測算法檢測照片中的人臉，如果未檢測到人臉，返回，繼續處理下一張圖片，檢測到人臉則轉入步驟2-2；步驟2-2，將步驟2-1得到的人臉區域圖片送入人臉特征點檢測模塊，得到人臉的68個特征點；步驟2-3，根據步驟2-2得到的人臉特征點，進行人臉校準；步驟2-4，人臉歸一化處理，消除光照影響。其中，所述步驟3中提取人臉特征的具體步驟如下：步驟3-1，根據步驟2得到的68個特征點，任選一點作為基準點P，以基準點P為原點建立極坐標，以10°為間距，極坐標被劃分為36個區域，依次求取其余67個特征點與基準點的連線同水平正方向形成的角度，得到以P為基準點的角度直方圖；按照上述方法，選取眼、鼻、嘴三處6個點作為基準點，得到6組直方圖，以該直方圖作為人臉的五官輪廓特征；步驟3-2，根據步驟2得到的68個特征點，定位眼部區域，計算眼部區域的密集LBP特征，進行WPCA變換消除冗余提取主特征，以該特征作為眼部特征；步驟3-3，根據步驟2得到的68個特征點，定位嘴部區域，計算嘴部區域的密集LBP特征，進行WPCA變換消除冗余提取主特征，以該特征作為嘴部特征；步驟3-4，根據步驟2得到的68個特征點，定位鼻部區域，計算鼻部區域的密集LBP特征，進行WPCA變換消除冗余提取主特征，以該特征作為鼻部特征；步驟3-5，根據步驟2得到的68個特征點，定位人臉的整體區域，計算人臉整體區域的密集LBP特征，進行WPCA變換消除冗余提取主特征，以該特征作為人臉的全局特征。其中，所述步驟5中級聯貝葉斯算法訓練的具體過程為：步驟5-1，根據步驟3得到的人臉的五官輪廓特征，計算不同人和相同人特征之間的協方差矩陣和；步驟5-2，根據步驟5-1計算得到的和，計算出和，其中，，；步驟5-3，根據步驟3得到的眼部特征、嘴部特征、鼻部特征和人臉的全局特征，重復步驟5-1和5-2，最終得到度量矩陣和。其中，所述步驟6包括如下具體步驟：步驟6-1，讀取驗證圖片1和圖片2，分別進行人臉檢測，如果未檢測到兩張人臉，提示未檢測到人臉，結束匹配，否則進入步驟6-2；步驟6-2，檢測人臉1和人臉2的68個特征點，如果未檢測到，提示匹配失敗，結束匹配，否則進入步驟6-3；步驟6-3、根據步驟3所述方法，提取人臉1和人臉2的5種特征。本專利技術的上述技術方案的有益效果如下：本專利技術結合考慮了人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征這些局部特征和人臉的全局特征，通過級聯貝葉斯模型為兩張人臉的各部分特征相似度打分，最后取相似度均值，從而可以有效的規避局部裝束等外在影響造成的識別效果不佳。附圖說明圖1為本專利技術中68個人臉特征點的分布示意圖；圖2為本專利技術的工作原理框圖；圖3為本專利技術步驟6至步驟8的流程圖；圖4為本專利技術實施例中人臉數據集的示意圖；圖5為人臉的68個特征點分布示意圖。具體實施方式為使本專利技術要解決的技術問題、技術方案和優點更加清楚，下面將結合附圖及具體實施例進行詳細描述。如圖1、圖3所示，一種結合局部和全局特征的無約束人臉驗證方法，包括以下步驟：步驟1，整理人臉訓練樣本集，樣本集包含一萬個的人臉照片，每個人包含至少15張以上不同姿態、不同環境、不同時間的人臉照；步驟2，檢測樣本集照片人臉并提取人臉上的68個特征點，如圖1所示，并進行人臉校準和歸一化處理；其中，提取人臉上的68個特征點的具體步驟為：步驟2-1，針對輸入圖片，采用基于Adaboost的人臉檢測算法檢測照片中的人臉，如果未檢測到人臉，返回，繼續處理下一張圖片，檢測到人臉則轉入步驟2-2；步驟2-2，將步驟2-1得到的人臉區域圖片送入人臉特征點檢測模塊，得到人臉的68個特征點；步驟2-3，根據步驟2-2得到的人臉特征點，進行人臉校準；步驟2-4，人臉歸一化處理，消除光照影響。步驟3，根據步驟2得到的68個特征點，提取人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征、以及人臉的全局特本文檔來自技高網...

【技術保護點】
一種結合局部和全局特征的無約束人臉驗證方法，其特征在于，包括以下步驟：步驟1，整理人臉訓練樣本集，樣本集為包含了一萬個不同人的人臉圖片庫，每個人包含至少15張以上不同姿態、不同環境、不同時間的人臉照；步驟2，檢測樣本圖片中的人臉區域，并提取人臉68個特征點，然后進行人臉校準和歸一化處理；步驟3，根據步驟2得到的68個特征點，提取人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征、以及人臉的全局特征；步驟4，將步驟3得到的5種特征分別使用RBF核函數投影到易區分的非線性空間；步驟5，將步驟4得到的5種特征分別使用級聯貝葉斯算法訓練，得到5組協方差矩陣A和G；步驟6，人臉驗證階段，針對輸入的兩張人臉圖片，使用步驟3中的方法分別提取圖片中人臉的5種描述特征，并投影到非線性空間，得到兩個人的5種特征，表示為

【技術特征摘要】
1.一種結合局部和全局特征的無約束人臉驗證方法，其特征在于，包括以下步驟：步驟1，整理人臉訓練樣本集，樣本集為包含了一萬個不同人的人臉圖片庫，每個人包含至少15張以上不同姿態、不同環境、不同時間的人臉照；步驟2，檢測樣本圖片中的人臉區域，并提取人臉68個特征點，然后進行人臉校準和歸一化處理；步驟3，根據步驟2得到的68個特征點，提取人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征、以及人臉的全局特征；步驟4，將步驟3得到的5種特征分別使用RBF核函數投影到易區分的非線性空間；步驟5，將步驟4得到的5種特征分別使用級聯貝葉斯算法訓練，得到5組協方差矩陣A和G；步驟6，人臉驗證階段，針對輸入的兩張人臉圖片，使用步驟3中的方法分別提取圖片中人臉的5種描述特征，并投影到非線性空間，得到兩個人的5種特征，表示為和；步驟7，使用步驟5中得到的兩個矩陣A和G，分別計算步驟6中的5對特征的相似度，計算公式為：；步驟8，計算步驟7中5對相似度的平均值，得到最終的相似度值，與閾值相比從而判斷出兩個人是否為同一個人。2.根據權利要求1所述的基于級聯貝葉斯的無約束人臉驗證方法，其特征在于，所述步驟2中提取人臉上的68個特征點的具體步驟為：步驟2-1，針對輸入圖片，采用基于Adaboost的人臉檢測算法檢測圖片中的人臉，如果未檢測到人臉，返回，繼續處理下一張圖片，檢測到人臉則轉入步驟2-2；步驟2-2，將步驟2-1得到的人臉區域圖片送入人臉特征點檢測模塊，得到人臉的68個特征點；步驟2-3，根據步驟2-2得到的人臉特征點，進行人臉校準，消除姿態影響；步驟2-4，人臉歸一化處理，消除光照影響。3.根據權利要求1所述的基于級聯貝葉斯的無約束人臉驗證方法，其特征在于，所述步驟3中提取人臉特征的具體步驟如下：步驟3-1，根據步驟2得到的68個特征點，任選一點作為基準點P，以基準點P為原點建立極坐標，以1...

【專利技術屬性】
技術研發人員：胡彬，文萬志，曲平，李牧，程顯毅，楊賽，李躍華，陳曉勇，
申請(專利權)人：南通大學，南通先進通信技術研究院有限公司，
類型：發明
國別省市：江蘇,32