一種基于多深度圖的非剛體三維重建方法及系統技術方案

本發明專利技術提出一種基于多深度圖的非剛體三維重建方法，包括以下步驟：對非剛體以不同角度和不同姿態進行深度圖拍攝以得到多個深度圖；將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；對每個匹配點進行位置變換，并求取位置變換后的每個匹配點對應的變換參數；對所有變換參數進行拼接，并根據拼接結果建立能量函數；對能量函數進行求解，以根據求解結果重建非剛體的三維模型。根據本發明專利技術的方法，所需輸入信息簡單易采集，并可得到高精度的完整三維模型。該方法求解準確魯棒，消除了累加誤差所會帶來的影響，且運行速度快，擁有廣闊的應用前景。本發明專利技術還提出了一種基于多深度圖的非剛體三維重建系統。

【技術實現步驟摘要】

本專利技術涉及計算機視覺
，特別涉及一種基于多深度圖的非剛體三維重建方法及系統。
技術介紹
三維重建是計算機視覺領域的重點問題。高質量的三維模型在影視娛樂、文物保護、機械加工等各個領域都有著重要的應用價值。但是高質量三維模型的獲取通常依靠價格昂貴的激光掃描儀實現，雖然精度得以保證，但是也存在著兩個缺點:第一、激光掃描儀在掃描過程中要求被掃物體絕對靜止，微小的移動就會導致掃描結果存在明顯的誤差；第二，激光掃描儀價格不菲，很難普及從而擴大民用價值。
技術實現思路
本專利技術旨在至少解決上述技術問題之一。為此，本專利技術的一個目的在于提出一種基于多深度圖的非剛體三維重建方法。該方法求解準確魯棒，消除了累加誤差所會帶來的影響，且運行速度快，擁有廣闊的應用前本專利技術的另一目的在于提出一種基于多深度圖的非剛體三維重建系統。為了實現上述目的，本專利技術第一方面的實施例提出了一種基于多深度圖的非剛體三維重建方法，包括以下步驟:對非剛體以不同角度和不同姿態進行深度圖拍攝以得到多個深度圖；將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數；對所有變換參數進行拼接，并根據拼接結果建立能量函數；以及對所述能量函數進行求解，以根據求解結果重建所述非剛體的三維模型。根據本專利技術實施例的基于多深度圖的非剛體三維重建方法，利用深度相機對同一非剛性物體不同角度、不同姿態拍攝采集到的深度圖，并基于上述深度圖完成對非剛體的三維幾何建模的功能。該方法需求的輸入信息簡單易采集，并可得到高精度的完整三維模型。該方法求解準確魯棒，消除了累加誤差所會帶來的影響。另外，該方法簡單易行，且運行速度快，擁有廣闊的應用前景，可以在普通PC機或工作站等硬件系統上實現。另外，根據本專利技術上述實施例的基于多深度圖的非剛體三維重建方法還可以具有如下附加的技術特征:在一些示例中，通過深度相機對所述非剛體進行拍攝以得到所述多個深度圖。在一些示例中，所述將每個深度圖變換為一組三維點云，進一步包括:獲取所述深度相機的內參矩陣；根據所述內參矩陣將所述每個深度圖變換為一組三維點云。在一些示例中，所述變換的變換公式為:pj =其中，U，V為像素坐標，dc(u, V)為第c張深度圖上像素(U，V)位置上的深度值,所述K為內參矩陣。在一些示例中，所述對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數，進一步包括:計算所述每個匹配點的旋轉矩陣和偏移向量；根據所述旋轉矩陣和偏移向量得到所述每個匹配點的位置變換方程；根據所述的位置變換方程得到所述每個匹配點對應的變換參數。在一些示例中，所述位置變換方程為:P' =Rp+t,其中,P為匹配點,R為旋轉矩陣，t為偏移向量。在一些示例中，所述能量函數為:X=argminxa eEe+a fEf+a nEn,其中，EeS拓撲約束，Ef為特征約束，En為最近點約束，a e、a f、a ^分別為Ee、Ef和En的權重系數。本專利技術第二方面的實施例提供了一種基于多深度圖的非剛體三維重建系統，包括:深度相機，所述深度相機用于對非剛體以不同角度和不同姿態進行深度圖拍攝以得到多個深度圖；匹配模塊，用于將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；變換模塊，用于對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數；拼接模塊，用于對所有變換參數進行拼接，并根據拼接結果建立能量函數；以及三維重建模塊，用于對所述能量函數進行求解，以根據求解結果重建所述非剛體的三維模型。根據本專利技術實施例的基于多深度圖的非剛體三維重建系統，利用深度相機對同一非剛性物體不同角度、不同姿態拍攝采集到的深度圖，并基于上述深度圖完成對非剛體的三維幾何建模的功能。該系統需求的輸入信息簡單易采集，并可得到高精度的完整三維模型。該系統求解準確魯棒，消除了累加誤差所會帶來的影響。另外，該系統成本低，且運行速度快，擁有廣闊的應用前景，可以在普通PC機或工作站等硬件系統上實現。本專利技術的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本專利技術的實踐了解到。附圖說明本專利技術的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中:圖1是根據本專利技術一個實施例的基于多深度圖的非剛體三維重建方法的流程圖；以及圖2是根據本專利技術一個實施例的基于多深度圖的非剛體三維重建系統的結構圖。具體實施例方式下面詳細描述本專利技術的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本專利技術，而不能理解為對本專利技術的限制。在本專利技術的描述中，需要理解的是，術語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置 關系，僅是為了便于描述本專利技術和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本專利技術的限制。此外，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。在本專利技術的描述中，需要說明的是，除非另有明確的規定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對于本領域的普通技術人員而言，可以具體情況理解上述術語在本專利技術中的具體含義。以下結合附圖描述根據本專利技術實施例的基于多深度圖的非剛體三維重建方法及系統。圖1是根據本專利技術一個實施例的基于多深度圖的非剛體三維重建方法的流程圖。如圖1所示，該方法包括如下步驟:步驟SlOl:對非剛體以不同角度和不同姿態進行深度圖拍攝以得到多個深度圖。具體地，可通過深度相機對非剛體進行拍攝以得到多個深度圖。即利用深度相機對同一非剛性物體(非剛體)以不同角度、不同姿態進行拍攝多個深度圖，并采集上述多個深度圖?！げ襟ES102:將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對。在本專利技術的一個示例中，將每個深度圖變換為一組三維點云包括:I)獲取深度相機的內參矩陣。2)根據內參矩陣將每個深度圖變換為一組三維點云。其中，變換的變換公式為:Pc! = /i_1(u,v,c^(u,v))T，其中，U，V為像素坐標，dc(u, V)為第c張深度圖上像素(u, V)位置上的深度值，所述K為內參矩陣。具體地說，例如:存在Nf張深度圖，則輸入Nf張深度圖d。(U，V)，c=l, 2，-,Nf,給定深度相機內參矩陣K，每張深度圖即可變換為一組三維點云，通過上述變換公式進行變換。開始需要用戶手工指定點云間特征點的對應關系(匹配點對)。這是由于點云特征較少，相同幾何分布的區域很多，如果利用全自動的匹配算法幾乎很難實現。因此，本專利技術實施例的方法只需要用戶手工指定少量特征對應點，即可實現后續準確高質量的三維重建效果。對應點對集合表示為:F = Ifi Ifi = (ρ本文檔來自技高網...

【技術保護點】
一種基于多深度圖的非剛體三維重建方法，其特征在于，包括以下步驟：對非剛體以不同角度和不同姿態進行深度圖拍攝以得到多個深度圖；將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數；對所有變換參數進行拼接，并根據拼接結果建立能量函數；以及對所述能量函數進行求解，以根據求解結果重建所述非剛體的三維模型。

【技術特征摘要】

【專利技術屬性】
技術研發人員：戴瓊海，葉亙之，劉燁斌，
申請(專利權)人：清華大學，
類型：發明
國別省市：