一種基于三維人臉點云特征點定位方法技術

本發明專利技術展示了一個三維人臉點云特征點定位方法。首先，對雙邊濾波去噪的預處理后的人臉點云數據通過HK(平均曲率和高斯曲率)這一曲面形狀描述方法，劃分出人臉特征點候選區域，然后對特征點所形成的旋轉圖像(Spin?Image)進行比較，從而實現任意姿態下的鼻尖點和左右內眼角點的定位。此外，原始的旋轉圖像算法計算量太大，運算時間過長而無法獲得實際應用，本文在原算法的基礎上，只對篩選出來的少量重要特征點進行區域曲面重構，避免了大量無意義的點運算，提高了旋轉圖像算法的實時性能。在對GavabDB數據庫的實驗結果表明，該方法最高獲得了95.37％的識別率，同時對姿態、表情變化具有一定的魯棒性。以上步驟即為整個定位過程。

A feature point location method based on 3D face point cloud

The invention discloses a 3D facial point cloud feature point positioning method. First, face point cloud data pretreatment on bilateral filtering denoising after HK (mean curvature and Gauss curvature) method to describe this curved shape, divides the facial feature points of image rotation candidate region, then the feature points are formed (Spin Image) were compared, so as to realize the positioning canthuses arbitrary attitude under the nose and around the. In addition, the original image rotation algorithm calculation is too large, too long computing time to obtain the actual application, this paper on the basis of the original algorithm, only a small amount of regional surface reconstruction of the important features of the selected, to avoid the operation of a lot of meaningless, and improves the real-time performance of image rotation algorithm. Experimental results on the GavabDB database show that the proposed method achieves a maximum recognition rate of 95.37% and robustness to pose and facial changes. The above procedure is the whole positioning process.

【技術實現步驟摘要】
一種基于三維人臉點云特征點定位方法
本專利技術屬于圖像處理
，特別涉及一種人臉點云特征點定位方法，可用于三維人臉識別。
技術介紹
點云數據是對真實物體表面進行掃描采樣獲得的離散數據，曲率是曲面重要的局部幾何屬性，所以，曲率能夠用于三維人臉點云特征點的分析與識別。近年來，國內外學者在三維點云曲率方面已經提出了多種方法。李謙總結了國內外有關點云數據的研究現狀，重點研究了基于曲率特征信息的點云數據處理方法。蔣建國通過局部曲面曲率的計算，并結合灰度特征信息，定位了鼻尖點、鞍點和左右瞳孔點。Ganguly運用主曲率、高斯曲率、最大和最小曲率等在曲面形狀描述的優越性，將曲率用于三維人臉識別。在特征點定位方面，王蜜宮通過改進局部形狀圖的(LocalShapeMap)的統計模型，實現鼻尖點和內眼角點的精確定位。王晉疆運用一種3D局部曲面形狀的描述子——點特征(PointSignature)，實現點云數據的特征點提取。繆永偉基于三維模型表面頂點局部鄰域旋轉圖像的分析，提出一種三維形狀表面局部相似性的度量方法。通過對已公開算法的分析比較，本文提出了一種基于SpinImage的人臉點云特征定位的方法。該方法實現了任意表情和姿態下的三維人臉點云鼻尖點和左右內眼角點的定位。
技術實現思路
旋轉圖像的表示方法，是把三維物體表面上基準有向點與其他有向點的幾何位置關系轉化為一幅二維圖像，便于表征物體的特征。旋轉圖像法通過支撐距離和支撐角度來控制全局覆蓋點的數量來描述一定區域內的曲面形狀，而且減少了雜亂和自遮擋對圖像的影響，已被證明是三維表面識別的一個精確方法，但要計算所有點的旋轉圖像，運算量大、消耗時間長。受此啟發，本文利用旋轉圖像來實現特征點的精確定位，為了減少計算代價，在計算旋轉圖像之前，先通過HK(平均曲率和高斯曲率)曲面形狀描述方法對點云的局部形狀進行分類，得到特征點候選區域。據先驗知識，在候選區域中手工標注三個特征點(鼻尖點和左右內眼角點)，然后把這三個特征點形成的旋轉圖像作為本文的特征點模板。最后，通過其他點云候選特征點的旋轉圖像和特征點模板進行相似性比較，從而實現人臉點云的鼻尖點和左右內眼角點定位。本專利技術的目的通過如下技術方案實現：S1：由于人臉點云數據在采集的過程中不可避免的包含較多的噪聲點，從而會影響到人臉點云特征點定位效果，因此采用雙邊濾波的噪聲濾波的預處理方法，進行點云數據的預處理，計算公式為：V′←V+d·n其中V為點云中的任意一個頂點，d可以稱作雙邊濾波權重因子，n為當前頂點V的法向方向。S2:通過HK(平均曲率和高斯曲率)這一曲面形狀描述方法，對預處理后的點云數據劃分出人臉特征點候選區域。HK的計算公式為：Ix，Iy是沿著x和y方向的一階偏導，Ixy，Ixx和Iyy是對應的二階偏導。通過平均曲率和高斯曲率的正負號來進行點類型的分類。S3:對特征點候選區點生成旋轉圖像(SpinImage)。旋轉圖像是一種三維物體表面的全局配準技術，取三維人臉點云模型上任一點，計算該點的法向量得到切平面，然后將其余所有點向該點的切平面投影，形成的二維直方圖則為該點的旋轉圖像。旋轉圖像生成的過程決定了其具有三維曲面全面的幾何表征性，計算公式為：SO:R3→R2S4:用線性相關系數R來表示事先手工標記模板的鼻尖點和左右內眼角點的旋轉圖像和特征點形成的旋轉圖像相似程度，從而實現任意姿態下的鼻尖點和左右內眼角點的定位。由于線性相關系數是利用像素數量進行計算的，旋轉圖像重疊的數量將影響相關系數，R的取值范圍(-1，1)，其中，當R的值越大，越接近1，這兩個旋轉圖像越相似，越接近-1，說明這兩個旋轉圖像不相似，本文取R的閾值為0.9。計算公式為：其中，P和Q是兩個旋轉圖像，N為兩個旋轉圖像重疊像素的數量，p和q為旋轉圖像每個像素的數值。附圖說明圖1表示人臉不同點處的旋轉圖像示例，從上到下依次是：額頭點，鼻尖點，臉頰點和下巴點。圖2表示對人臉點云通過HK生成的特征點候選區(圖中黑色部分)。其中A、B分別為左右眼角處橢圓凹形點區域，C是鼻尖處橢圓形凸形點區域。(a)和(b)是根據HK對人臉點云分類的效果圖，(c)是根據先驗知識標記的特征點模板。圖3表示不同人臉點云形成旋轉圖像的比較。左右兩個人臉點云上兩個點是左內眼角點和鼻尖點，左人臉點云最下方的點為左臉頰一點，右人臉點云最下方的點為人中一點。圖4表示旋轉圖像的相似度比較。A、B為不同人臉點云的鼻尖點所生成的旋轉圖像，C為人中一點所生成的旋轉圖像，然后比較A、B和A、C旋轉圖像的相似性，其中A、B的相似度為R＝0.914，A、C的相似度為R＝0.167。圖5展示了不同姿態和表情的部分定位結果。圖6旋轉圖像的參數。具體實施方式實驗環境Intel(R)Core(TM)i5CPU主頻2.67GHz，內存為8.0GB。Win8操作系統。本文實驗所用的數據庫是A.B.Moreno建立的GavabDB3D人臉數據庫。該數據庫包含549個三維面部表面圖像，共有61個人(45位男性和16位女性)，每個人有9張不同的圖像，他們中的大多數年齡在18到40歲之間。此外，人臉姿態和面部表情都是有規則的變化，其中包括2張無表情正臉和4張無表情轉動圖像，以及3張有突出變化表情的正面人臉圖像。每個圖像數據內容包括點的三維坐標和連接關系，本文提取每個圖像數據中的三維坐標來當作實驗的點云庫。仿真軟件MATLAB2015a。本文選擇了兩組點云數據進行原旋轉圖像算法和本文提出的只對候選區進行旋轉圖像計算的運行時間的比較。在幾乎相同準確率的條件下，原算法花費時間較長，至少需要一個小時，而本文的方法大大縮短了運行時間。實驗內容本專利技術實驗所用的數據庫是A.B.Moreno建立的GavabDB3D人臉數據庫。該數據庫包含549個三維面部表面圖像，共有61個人(45位男性和16位女性)，每個人有9張不同的圖像，他們中的大多數年齡在18到40歲之間。此外，人臉姿態和面部表情都是有規則的變化，其中包括2張無表情正臉和4張無表情轉動圖像，以及3張有突出變化表情的正面人臉圖像。每個圖像數據內容包括點的三維坐標和連接關系，本文提取每個圖像數據中的三維坐標來當作實驗的點云庫。由于人臉點云數據在采集的過程中不可避免的包含較多的噪聲點，從而會影響到人臉點云特征點定位效果，因此本文尋求一種魯棒的預處理方法，對數據進行預處理之后再進行特征點的定位。本專利技術的具體步驟為：S1：首先對數據庫的人臉點云數據采用雙邊濾波的噪聲濾波方法，因為雙邊濾波的原理是某鄰點在點云去噪過程中所占的權重大小不是由單個因素左右的，而是由它到中心點的空間距離大小和它與中心點深度上的相似度共同決定的，所謂空間中的鄰點與中心點深度上的相似度，即指鄰點與中心點的空間距離向量投影到中心點法向上的距離大小，這種算法不需要詳細的拓撲信息，而且計算簡單，運算速度快。定義如下：V′←V+d·n其中V為點云中的任意一個頂點，d稱作雙邊濾波權重因子，n為當前頂點V的法向方向。雙邊濾波過程的關鍵是求出濾波權重因子，使得點云模型上的頂點沿著法向方向移動，并通過這種方式來光順光噪點。點云模型的雙邊濾波權重因子d的定義如下：其中，N(v)表示頂點V的所有鄰域點的集合，||v-pi||為當前鄰點到中心點v本文檔來自技高網...

【技術保護點】
一種展示了一個三維人臉點云特征點定位方法，包括以下步驟：S1：由于人臉點云數據在采集的過程中不可避免的包含較多的噪聲點，從而會影響到人臉點云特征點定位效果，因此首先采用雙邊濾波的預處理方法，進行點云數據的預處理；S2:通過平均曲率和高斯曲率(HK)這一曲面形狀描述方法，對預處理后的點云數據劃分出人臉特征點候選區域；S3:最后對特征點候選區點生成旋轉圖像(Spin?Image)；S4:用線性相關系數R來表示事先手工標記模板的鼻尖點和左右內眼角點的旋轉圖像和特征點形成的旋轉圖像相似程度，從而實現任意姿態下的鼻尖點和左右內眼角點的定位。

【技術特征摘要】
1.一種展示了一個三維人臉點云特征點定位方法，包括以下步驟：S1：由于人臉點云數據在采集的過程中不可避免的包含較多的噪聲點，從而會影響到人臉點云特征點定位效果，因此首先采用雙邊濾波的預處理方法，進行點云數據的預處理；S2:通過平均曲率和高斯曲率(HK)這一曲面形狀描述方法，對預處理后的點云數據劃分出人臉特征點候選區域；S3:最后對特征點候選區點生成旋轉圖像(SpinImage)；S4:用線性相關系數R來表示事先手工標記模板的鼻尖點和左右內眼角點的旋轉圖像和特征點形成的旋轉圖像相似程度，從而實現任意姿態下的鼻尖點和左右內眼角點的定位。2.如權利要求1所述的基于三維人臉點云特征點定位方法，其特征在于，步驟S1中若人臉點云數據采用雙邊濾波的噪聲濾波的方法，則計算公式為：V′←V+d·n其中V為點云中的任意一個頂點，d可以稱作雙邊濾波權重因子，n為當前頂點V的法向方向；雙邊濾波在點云的主要思想：某鄰點在點云去噪過程中所占的權重大小不是由單個因素左右的，而是有它到重心點的空間距離大小和它與重心點深度上的相似度，即指鄰點與重心點的空間距離向量投影到中心點法向上的距離大小；雙邊濾波過程的關鍵是求出濾波權重因子，使得點云模型上的頂點沿著法向方向移動，并通過這種方式來光順光噪點；點云模型的雙邊濾波權重因子d的定義如下：其中，pi表示當前某一鄰點，N(v)表示頂點V的所有鄰域點的集合，||v-pi||為當前鄰點到中心點v的距離，<n,v-pi>為當前鄰點和中心點在深度上的相似度，也就是當前鄰點與中心點之間的距離在中心點法向n上的投影。光順濾波函數Wc是高斯卷積核函數的形式，該函數表示點與點在三維空間商的相似性：式中σc的值定為中心點與其最遠鄰近點之間距離的二分之一。特征保持權重函數Ws表示點與點之間的深度上的相似性，如下定義：其中σs的值是中心點與其所有鄰域點到的距離投影到中心點法向上的大小的方差。3...

【專利技術屬性】
技術研發人員：張靈，朱思豪，
申請(專利權)人：廣東工業大學，
類型：發明
國別省市：廣東,44