一種基于單個Kinect的簡易高效三維人體重建方法技術

本發明專利技術公開了一種基于單個Kinect的簡易高效三維人體重建方法，該三維人體重建方法包括以下步驟：1)獲取點云；2)點云預處理；3)局部對齊；4)全局對齊；5)表面重建。用戶可以很容易地在諸如家里或辦公室這樣狹窄的空間內實現三維人體建模，所需要的僅僅是一臺個人電腦和一臺Kinect。為了使人體建模更加快速、準確和方便，本發明專利技術提出了一種有效的全身掃描的數據采集策略，只通過六個角度，每個角度三幀的掃描，便可以完全覆蓋人體。而對Kinect捕捉到的點云數據的處理，包含局部對齊和在全局對齊兩個步驟。這種新的三維人體建模方法可適用于大多數應用，比如數字測量、產品設計和在線購物。

【技術實現步驟摘要】

本專利技術涉及三維人體建模的
，特別涉及一種基于單個Kinect的簡易高效三維人體重建方法。
技術介紹
三維物體快速建模技術是當前計算機圖形學領域的重要研究課題之一，三維物體快速建模技術是目前物體模型快速重構的發展趨勢。三維物體重建能夠更加便宜，三維模型如照片和視頻一樣容易獲得。這種技術被應用于許多計算機圖形的應用程序，如動畫，計算機游戲，人機交互和虛擬現實，都需要精確的三維模型。如電子商務網站平臺，在線購物網站，游戲領域等。RGB-D相機是一種新興的掃描設備。RGB-D相機結合了光學相機和三維激光掃描儀的優勢。它可以獲得測量物體的三維信息，幾乎是一種便攜式的光學相機。三維建模通過使用RGB-D攝像機獲取物體的三維信息比使用掃描儀要經濟實惠得多，尤其是使用微軟的Kinect設備。Kinect本來是微軟公司開發的Xbox360主機的周邊外設，主要用于人機實時交互。基于Kinect的重建技術有如下的優勢：Kinect能夠快速獲取場景三維信息；Kinect是一種主動傳感器，它不受環境可見光譜的干擾；Kinect的核心設備是彩色攝像機、紅外線發射器和紅外線CMOS攝影機，這些設備都比較廉價，因而Kinect的售價也較為低廉；此外，Kinect的操作與普通攝像機類似，易于使用。微軟還開發了一個開源項目Kinect Fusion，可以幫助普通用戶同時掃描和重建場景的模型，目前已有很多基于這種技術的應用程序，如紐康等，用Kinect Fusio來進行表面映射和跟蹤，或重建室內空間。然而，通過Kinect Fusion進行三維建模只利用了深度信息，并且沒有考慮物體變形的問題。此外，用RGB-D攝像機進行三維人體建模時，為方便掃描，用戶必須使自己的全身都被攝像機掃描到。雖然也有一種方法是把三臺Kinect在置在前方和后方來達到全身覆蓋，但掃描的速度和精度都不理想，一個好的掃描策略仍然是提高三維建模的效率和方便性的重要手段。ICP(Iterative Closest Point)算法，即迭代最近點算法，是一種基于自由形態曲面的配準方法。當多幀數據重疊的區域非常靠近時，因ICP算法具有較高的效率和較好的可靠性，通常被研究者采用。對靜態物體的掃描，ICP算法是當前比較通用的研究三維形狀物體對齊的技術，是一種基于自由形態曲面的配準方法。ICP算法的基本思想是：根據前一幀上的數據點集在后一幀掃描數據上找到對應的點集，即找到初始匹配點。然后以對應點間的距離的平方和最小為原則，建立目標方程。再根據最小二乘法原理來轉換參數，即找到精確匹配點。三維人體重建所需要的是一組不同角度的人體點云數據。重建時要首先解決的問題就是如何通過匹配它們的重疊區域進行剛性的逐幀對齊。目前，基于圖像和基于形狀的方法的研究已經得到了很好的成果。基于圖像的對齊通常是基于稀疏特征匹配和極線幾何的方法，如Khoshelham等人提出的一種通過極線搜索來獲得更精確的對齊效果的方法；而基于形狀對齊的方法通常是基于迭代最近點算法(ICP)。由于ICP及其各種衍生算法可以解決局部剛性對準問題，通常實時三維重建中對齊連續幀的方法就是基于這樣的方法，特別是使用Kinect進行的人體模型重建。數據幀對齊算法的效率和魯棒性是有待突破的關鍵技術問題。
技術實現思路
本專利技術的目的在于克服現有技術的缺點與不足，提供一種基于單個Kinect的簡易高效三維人體重建方法，該方法基于深度攝像機的三維人體建模技術，使用單個Kinect，通過六個角度，每個角度三幀的掃描獲得人體點云信息，然后經由對捕捉到的點云數據的處理快速高效生成三維人體模型。本專利技術的目的通過下述技術方案實現：一種基于單個Kinect的簡易高效三維人體重建方法，所述方法包括下列步驟：S1、使用單個Kinect掃描人體，獲得人體顏色和深度數據，進行數據分割，去除背景，產生點云數據；S2、進行人體點云數據的局部對齊，使用剛性ICP將每個角度的三個點云對齊，然后合并成一個點云；S3、進行人體點云數據的全局對齊，具體包括：S301、初始配準，對初始位置進行優化，選取點云的邊緣部分的點集作控制點集，用剛性ICP對齊，使點云的邊緣部分重合，為下一步的對齊提供較好的初始狀態；S302、剛性配準，用剛性ICP進行點云數據間的精細配準；S303、非剛性配準，用基于Embedded Deformation Graph的非剛性配準方法進行點云數據間的精細配準；S4、用得到的完整人體點云進行泊松表面重建得到最終的三維人體模型。進一步地，所述步驟S1具體包括：S101、使用單個Kinect掃描人體以獲取人體點云數據；S102、對人體RGB-D數據進行去背景處理；S103、修復數據誤差，將亮度和色調落差大的部分從點云中刪去。進一步地，所述步驟S101、使用Kinect掃描人體以獲取人體點云數據具體過程如下：將Kinect放在人體腰部的高度，距人體水平距離為0.8-1.2米，掃描時，人體首先正面面對Kinect站好，然后依次沿右轉5個60度，讓Kinect掃描到人體的6個角度,上述6個角度分別為正面、正面左轉60度、正面右轉60度、背面、背面左轉60度、背面右轉60度；在每一個角度中分別拍攝上、中、下三幀圖像，其中上幀對應kinect上轉20度，下幀對應kinect下轉20度，中幀對應kinect無任何旋轉。進一步地，所述步驟S2具體包括：S201、將每個角度的上和下兩幀圖像的點云通過旋轉變換粗略地對齊到中幀圖像的點云上；S202、使用剛性ICP算法，將上、中、下三幀圖像的點云對齊且合并到中幀圖像的點云上形成一個點云。進一步地，所述剛性ICP包括以下步驟：1)分別計算兩個點集P和Q的重心，并把兩個點集分別平移到其重心處；2)根據一定的幾何特征作為標準，分別在兩個點集中選取對應點對，生成控制點集C和D；3)通過奇異值分解的方法求出使控制點集C匹配到D上的空間變換f；4)根據空間變換f對點集P實行變換；5)判定是否達到精度要求或抵達最大迭代次數，是則終止算法，否則重復上述步驟直至算法終止。進一步地，所述步驟S303、非剛性配準，用基于Embedded Deformation Graph的非剛性配準方法進行點云數據間的精細配準具體過程如下：S3031、對于輸入的兩個點云P和Q，對點云P下采樣得到一個較小的點云G，對點云P和Q下采樣得到較小的點云C和D；S3032、使用點云G構建Embedded Deformation Graph，點云G上的點構成Graph的節點，然后每個節點包含一個變換矩陣，每個變換矩陣由一個旋轉矩陣R和一個平移矩陣T組成；S3033、使用點云C和D尋找對應點對，即對點云C中的每個點尋找其在點云D上的對應點；S3034、使用對應點對和Embedded Deformation Graph計算變換矩陣，Graph上每一個節點有一個變換矩陣，每個變換矩陣由一個旋轉矩陣和一個平移矩陣組成，最小化E＝Erigid+Esmooth+Ecorr，最小化Erigid是為了保證單個旋轉矩陣的剛性程度，最小化Esmooth是為了保證整體變換的光滑程度，最小化Ecorr是為了把對應點之間的距離縮小；S3035、計算出變換矩陣后便可以使用Embedded De本文檔來自技高網...

【技術保護點】
一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述方法包括下列步驟：S1、使用單個Kinect掃描人體，獲得人體顏色和深度數據，進行數據分割，去除背景，產生點云數據；S2、進行人體點云數據的局部對齊，使用剛性ICP將每個角度的三個點云對齊，然后合并成一個點云；S3、進行人體點云數據的全局對齊，具體包括：S301、初始配準，對初始位置進行優化，選取點云的邊緣部分的點集作控制點集，用剛性ICP對齊，使點云的邊緣部分重合，為下一步的對齊提供較好的初始狀態；S302、剛性配準，用剛性ICP進行點云數據間的精細配準；S303、非剛性配準，用基于Embedded?Deformation?Graph的非剛性配準方法進行點云數據間的精細配準；S4、用得到的完整人體點云進行泊松表面重建得到最終的三維人體模型。

【技術特征摘要】
1.一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述方法包括下列步驟：S1、使用單個Kinect掃描人體，獲得人體顏色和深度數據，進行數據分割，去除背景，產生點云數據；S2、進行人體點云數據的局部對齊，使用剛性ICP將每個角度的三個點云對齊，然后合并成一個點云；S3、進行人體點云數據的全局對齊，具體包括：S301、初始配準，對初始位置進行優化，選取點云的邊緣部分的點集作控制點集，用剛性ICP對齊，使點云的邊緣部分重合，為下一步的對齊提供較好的初始狀態；S302、剛性配準，用剛性ICP進行點云數據間的精細配準；S303、非剛性配準，用基于Embedded Deformation Graph的非剛性配準方法進行點云數據間的精細配準；S4、用得到的完整人體點云進行泊松表面重建得到最終的三維人體模型。2.根據權利要求1所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述步驟S1具體包括：S101、使用單個Kinect掃描人體以獲取人體點云數據；S102、對人體RGB-D數據進行去背景處理；S103、修復數據誤差，將亮度和色調落差大的部分從點云中刪去。3.根據權利要求1所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述步驟S101、使用Kinect掃描人體以獲取人體點云數據具體過程如下：將Kinect放在人體腰部的高度，距人體水平距離為0.8-1.2米，掃描時，人體首先正面面對Kinect站好，然后依次沿右轉5個60度，讓Kinect掃描到人體的6個角度,上述6個角度分別為正面、正面左轉60度、正面右轉60度、背面、背面左轉60度、背面右轉60度；在每一個角度中分別拍攝上、中、下三幀圖像，其中上幀對應kinect上轉20度，下幀對應kinect下轉20度，中幀對應kinect無任何旋轉。4.根據權利要求3所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述步驟S2具體包括：S201、將每個角度的上和下兩幀圖像的點云通過旋轉變換粗略地對齊到中幀圖像的點云上；S202、使用剛性ICP算法，將上、中、下三幀圖像的點云對齊且合并到中幀圖像的點云上形成一個點云。5.根據權利要求1或4任一所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述剛性ICP包括以下步驟：1)分別計算兩個點集P和Q的重心，并把兩個點集分別平移到其重心處；2)根據一定的幾何特征作為標準，分別在兩個點集中選取對應點對，生成控制點集C和D；3)通過奇異值分解的方法求出使控制點集C匹配到D上的空間變換f；4)根據空間變換f對點集P實行變換；5)判定是否達到精度要求或抵達最大迭代次數，是則終止算法，否則重復上述步驟直至算法終止。6.根據權利要求1所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述步驟S303、非剛性配準，用基于Embedded DeformationGraph的非剛性配準方法進行點云數據間的精細配準具體過程如下：S3031、對于輸入的兩個點云P和Q，對點云P下采樣得到一個較小的點云G，對點云P和Q下采樣得到較小的點云C和D；S3032、使用點云G構建Embedded Deformation Graph，點云G上的點構成Graph的節點，然后每個節點包含一個變換矩陣，每個變換矩陣由一個旋轉矩陣R和一個平移矩陣T組成；S3033、使用點云C和D尋找對應點對，即對點云C中的每個點尋找其在點云D上的對應點；S3034、使用對應點對和Embedded Deformation Graph計算變換矩陣，Graph上每一個節點有一個變換矩陣，每個變換矩陣由一個旋轉矩陣和一個平移矩陣組成，最小化E＝Erigid+Esmooth+Ecorr，最小化Erigid是為了保證單個旋轉矩陣的剛性程度，最小化Esmooth是為了保證整體變換的光滑程度，最小化Ecorr是為了把對應點之間的距離縮小；S3035、計算出變換矩陣后便可以使用Embedded Deformation Graph將點云P進行變形從而對齊到點云Q上。7.根據權利要求6所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，采用高斯牛頓法求解非線性最小二乘問題E＝Erigid+Esmooth+Ecorr，在高斯牛頓法的每一次迭代中，求解線性方程組時用cholesky分解方法。8.根據權利要求5所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述空間變換f的求解思想為：根據幾何特性對數據進行匹配，并設這些匹配點為假想的對應點，然后根據上述對應關系求解運動參數，再利用上述運動參數對數據進行變換，并利用同一幾何特征，確定新的對應關系，重復上述過程。9.根據權利要求5所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述幾何特征是空間中點到平面之間的距離最小的點。10.根據權利要求5所述的一種基于單個Kinect的簡易高效三維人體重建方法，其特征在于，所述剛性ICP的算法具體過程如下：設三維空間中的兩個點pi＝(xi，yi，zi)，qi＝(xj，yj，zj)，它們的歐式距離可以表示為： d ( p i , q i ) = | | p i - q i | | = ( x i - x j ) 2 + ( y i - y j ) 2 + ( z i - z j ) 2 ; ]]>三維點云匹配問題的目的是找到使P匹配上Q的旋轉矩陣R和平移矩陣T，對于qi＝R·pi+T,i＝1,2...N利用最小二乘法求解最優解使 E = Σ i = 1 N | R · p i + T - q i | 2 ]]>最小時的R和T，先對平移矩陣T進行初始的估算，具體方法是分別得到點集P和Q的中心： p = 1 n Σ i = 1 N p i , q = 1 n Σ i = 1 N q i ]]>分別將點集P和Q平移至中心點處：p'i＝pi-p,q'i＝qi-q則上述最優化目標函數可以轉化為： E = Σ i = 1 N | R · ( p ′ i + p ) + T - ( q ′ i + q ) | 2 ]]>最優化問題分解為求使E最小的R，根據R求出T；選取P、Q兩個點集中一部分具有可靠的對應關系的點作為控制點，配準問題轉化為： E = Σ i = 1 N | R · c i + T - d i | 2 ]]>計算對應點對之間的距離時采用點與平面之間的距離，配準問題轉化為： E = Σ i = 1 N ( ( R · c i + T - d i ...

【專利技術屬性】
技術研發人員：毛愛華，張弘，柳雨新，羅潔，鄭穎龍，李桂清，韓國強，
申請(專利權)人：華南理工大學，
類型：發明
國別省市：廣東;44