一種面向RGBD三維重建的關(guān)鍵幀提取方法技術(shù)

本發(fā)明專利技術(shù)公開了一種面向RGBD三維重建的關(guān)鍵幀提取方法。首先對于相機采集的RGBD數(shù)據(jù)流和用視覺里程計估計的相機位姿，將時間上相鄰的若干數(shù)據(jù)幀分為一組。對于每一組數(shù)據(jù)，根據(jù)相機位姿和相機參數(shù)將每一幀深度圖像向第一幀深度圖像投影；將每組第一幀RGB圖像向其余每一幀圖像投影，通過線性插值的方式得到每一張投影RGB圖像的灰度值。然后估計每一幀RGB圖像的模糊程度，結(jié)合對應(yīng)投影深度圖像的權(quán)值，得到投影RGB圖像的權(quán)值。根據(jù)得到的權(quán)值分別將組內(nèi)投影深度圖像和投影RGB圖像融合，得到RGBD關(guān)鍵幀。本發(fā)明專利技術(shù)減少了深度相機采集數(shù)據(jù)的空洞和噪聲，得到較清晰的深度圖像和RGB圖像，為相機位姿的全局優(yōu)化和紋理提取等三維重建中的其它工作提供較可靠的數(shù)據(jù)來源。

A key frame extraction method for 3D reconstruction of RGBD

The invention discloses a key frame extraction method for three-dimensional reconstruction of RGBD. First, the RGBD data stream captured by camera and the camera pose estimated by visual odometry are divided into a set of adjacent data frames. For each set of data, according to the camera pose and camera parameters of each frame to the first frame depth image projection depth; each of the first frame RGB image to the rest of each frame of image projection, by linear interpolation method each projection gray value of the image by RGB. Then, the fuzzy degree of each frame RGB image is estimated, and the weight of the projection RGB image is obtained by combining the weight of the corresponding projection depth image. According to the obtained weights, the intra group projection depth image and the projected RGB image are fused respectively to obtain the RGBD key frame. The invention reduces noise and cavity depth camera data acquisition, get the depth image and RGB image is clear, provide a reliable source of data for other work pose global optimization and texture extraction in 3D reconstruction.

【技術(shù)實現(xiàn)步驟摘要】
一種面向RGBD三維重建的關(guān)鍵幀提取方法
本專利技術(shù)屬于計算機視覺與計算機圖形圖像處理領(lǐng)域，具體地說是一種RGBD數(shù)據(jù)流中關(guān)鍵幀的提取方法，該方法為基于RGBD數(shù)據(jù)流的三維重建中相機位姿估計優(yōu)化以及紋理重建的研究提供了更可靠的數(shù)據(jù)來源，對基于RGBD數(shù)據(jù)的三維重建技術(shù)的研究有著重要意義。
技術(shù)介紹
隨著深度傳感器的普及和三維重建技術(shù)的發(fā)展，近年來基于RGBD數(shù)據(jù)的三維模型重建的研究正在興起。與傳統(tǒng)基于RGB圖像的三維重建相比，深度圖像提供了場景的三維信息，極大地提高了三維重建的可行性和精度。而關(guān)鍵幀提取在相機的位姿估計、相機重定位以及紋理重建中都起到重要的作用。目前針對三維重建的關(guān)鍵幀提取的方法可以分為以下三類：一是基于時間戳的方法，該類算法以時間戳或幀數(shù)為單位，每隔一定的時間或幀數(shù)提取數(shù)據(jù)作為關(guān)鍵幀。這類方法實現(xiàn)簡單、時間效率極高，關(guān)鍵幀的選取會受到掃描速率的影響；二是基于幀間運動檢測的方法，該類方法計算每一幀數(shù)據(jù)與上一關(guān)鍵幀的相機相對位姿變換，根據(jù)大小決定是否加入關(guān)鍵幀序列；三是基于圖像特征的方法，如Philip等人根據(jù)幀間對應(yīng)特征點的數(shù)量提取關(guān)鍵幀。這類方法對相機的參數(shù)依賴性不高，但由于實際運行效率問題，適合應(yīng)用在實時性要求不高的三維重建中。上述關(guān)鍵幀提取方法通常會面臨關(guān)鍵幀的質(zhì)量較低問題，如深度圖像的噪聲、空洞以及RGB圖像的運動模糊等，對相機位姿的優(yōu)化以及紋理提取等都有一定的影響。
技術(shù)實現(xiàn)思路
為克服上述缺點，本專利技術(shù)的目的在于根據(jù)RGBD數(shù)據(jù)流的特點，結(jié)合三維重建的需求，利用局部精確的相機姿態(tài)，研究一種融合多幀數(shù)據(jù)，在盡量保持原始數(shù)據(jù)特征的情況下，提高數(shù)據(jù)質(zhì)量的關(guān)鍵幀提取方法。為了達到上述目的，本專利技術(shù)提出了一種面向RGBD三維重建的關(guān)鍵幀提取方法，其包括以下步驟：步驟(1)、將標(biāo)定后的深度相機和彩色相機采集的RGBD數(shù)據(jù)流按照時間戳分組，相鄰若干幀的深度圖像、RGB圖像和用視覺里程計估計的相機位姿為一組數(shù)據(jù)；步驟(2)、對每一組數(shù)據(jù)，根據(jù)深度相機的內(nèi)部參數(shù)，將每一幀深度圖像映射到三維空間中，然后根據(jù)相機位姿向組內(nèi)第一幀深度圖像投影，得到投影深度圖像，投影的過程中更新投影深度圖像中相鄰的整數(shù)坐標(biāo)的像素值，對投影深度圖像的每一個像素，取與組內(nèi)第一幀深度圖像最接近的深度值為實際深度值；步驟(3)、對投影深度圖像的每一個像素，根據(jù)相應(yīng)投影坐標(biāo)的誤差計算其權(quán)值，對組內(nèi)每一幀投影深度圖像，以加權(quán)平均的方式計算最終的深度關(guān)鍵幀的像素值；步驟(4)、對每一組數(shù)據(jù)中的RGB圖像，根據(jù)彩色相機和深度相機的內(nèi)外參數(shù)以及深度關(guān)鍵幀的像素值，將組內(nèi)第一幀RGB圖像映射到三維空間中，然后根據(jù)每一幀的相機位姿分別向組內(nèi)其余幀的RGB圖像投影，用線性插值的方式計算每一個像素的灰度值，得到每一幀圖像對應(yīng)的投影RGB圖像；步驟(5)、對每一幀輸入的RGB圖像，計算其運動模糊程度，結(jié)合投影深度圖像的權(quán)值，計算相應(yīng)的投影RGB圖像中每一個像素對應(yīng)的權(quán)值，對組內(nèi)每一幀投影RGB圖像，以加權(quán)中位數(shù)的方式計算關(guān)鍵幀的灰度值。其中，所述步驟(1)中，每一組數(shù)據(jù)的幀數(shù)為5。其中，所述步驟(5)中，投影RGB圖像像素的權(quán)值計算同時考慮投影深度圖像像素的權(quán)值與圖像模糊程度。本專利技術(shù)的原理在于：首先對于相機采集的RGBD數(shù)據(jù)流，將相鄰若干幀RGB和深度圖像劃分為一組，保證組內(nèi)數(shù)據(jù)的相似和連續(xù)性。根據(jù)深度相機內(nèi)參，將每一幀深度圖像映射到三維空間中得到對應(yīng)的三維點云，然后根據(jù)每一幀的相機位姿將三維點云投影到該幀所在組的第一幀深度圖像上，計算投影深度圖像和對應(yīng)的權(quán)值。以加權(quán)平均的方式融合組內(nèi)的所有投影深度圖像得到深度關(guān)鍵幀。根據(jù)深度相機和彩色相機的內(nèi)外參數(shù)以及深度關(guān)鍵幀的像素值，將每組第一幀RGB圖像映射到三維空間中得到對應(yīng)的三維點云，然后根據(jù)每一幀的相機位姿將三維點云分別投影到組內(nèi)的每一幀RGB圖像上，利用線性插值的方法計算像素灰度值，得到投影RGB圖像。在計算投影RGB圖像的權(quán)值時，考慮對應(yīng)投影深度圖像的權(quán)值以及RGB圖像的運動模糊程度，對于運動模糊程度低的RGB圖像，對應(yīng)的投影RGB圖像賦予更高的權(quán)值。最后，以加權(quán)中位數(shù)的方法融合組內(nèi)所有的投影RGB圖像，得到RGB關(guān)鍵幀。本專利技術(shù)中深入分析了三維重建中對RGBD關(guān)鍵幀的需求，與現(xiàn)有的一般針對三維重建的關(guān)鍵幀提取技術(shù)相比的優(yōu)點在于：(1)、考慮深度相機采集的原始數(shù)據(jù)質(zhì)量較低的特點，以及局部相機位姿估計的高精度特點，通過融合多幀深度圖像有效減少了單幀深度圖像的空洞和噪聲。(2)、考慮相機運動過程中采集的原始數(shù)據(jù)存在運動模糊的特點，結(jié)合深度圖像提供的像素平面到三維空間的映射能力，通過融合多幀RGB圖像有效減少了單幀RGB圖像可能帶來的運動模糊，提高RGB圖像的精度。附圖說明圖1示出本專利技術(shù)中原深度圖像以及投影后對應(yīng)的投影深度圖像，其中圖1(a)為原始深度圖像，圖1(b)為對應(yīng)的投影深度圖像；圖2示出本專利技術(shù)中原RGB圖像以及投影后對應(yīng)的投影RGB圖像，其中圖2(a)為原始RGB圖像，圖2(b)為對應(yīng)的投影RGB圖像；圖3示出本專利技術(shù)中融合前后的深度圖像關(guān)鍵幀，其中圖3(a)為融合前的深度圖像，圖3(b)為融合后的深度圖像；圖4示出本專利技術(shù)中融合前后的RGB圖像關(guān)鍵幀，其中圖4(a)為融合前的RGB圖像，圖4(b)為融合后的RGB圖像；圖5示出本專利技術(shù)的一種面向RGBD三維重建的關(guān)鍵幀提取的原理圖。具體實施方式結(jié)合附圖對本專利技術(shù)實施例進行詳細(xì)的描述。本專利技術(shù)的實施過程主要分成四個步驟：RGBD數(shù)據(jù)幀分組、投影深度圖像計算、投影RGB圖像計算、投影數(shù)據(jù)融合。步驟一、RGBD數(shù)據(jù)幀的分組對于給定的已配準(zhǔn)的RGBD數(shù)據(jù)流Input1～Inputn，將時間戳相鄰的若干幀RGB圖像(以C1～Ck為例)、深度圖像(以D1～Dk為例)和對應(yīng)的相機位姿(以T1～Tk為例)分為一組。步驟二、投影深度圖像計算其主要步驟為：步驟(2.1)根據(jù)深度相機內(nèi)部參數(shù)Kd將D1～Dk中的每一個像素點分別映射到三維空間中，具體為：p＝Kd*(u,v,d)T(1)其中，p為映射后的三維點坐標(biāo)，Kd為深度相機的內(nèi)參矩陣(3*3)，u、v為原始像素坐標(biāo)，d為該像素坐標(biāo)下對應(yīng)的深度值。步驟(2.2)通過相機位姿矩陣，將每一幀的點云數(shù)據(jù)轉(zhuǎn)化到所在組內(nèi)第一幀的相機坐標(biāo)系下，具體為：pr＝T1-1*Ti*p(2)其中，pr為對應(yīng)第一幀相機坐標(biāo)系下的三維點云坐標(biāo)，T1為所在組第一幀的相機位姿矩陣，Ti為第i幀的相機位姿矩陣。步驟(2.3)根據(jù)深度相機內(nèi)部參數(shù)Kd，將三維點云映射到像素坐標(biāo)系下，得到投影深度圖像中對應(yīng)的像素坐標(biāo)。具體為：其中，px,py為映射后的像素坐標(biāo)值，dr為對應(yīng)的深度值。步驟(2.4)由于步驟(2.3)中得到的像素坐標(biāo)px,py通常不為整數(shù)，需要更新投影深度圖像中與之相鄰的4個像素坐標(biāo)。對于多個三維點映射到同一個像素坐標(biāo)的情況，取其深度值為離第一幀原始深度圖像最接近的值。步驟三、投影深度圖像融合步驟(3.1)對投影深度圖像的每一個像素ur,vr，根據(jù)最終取得的深度值dr和相應(yīng)的像素坐標(biāo)px,py，計算該像素對應(yīng)的權(quán)值。對于沒有被映射到的像素，權(quán)值設(shè)為0。其中，wd(ur,vr)為投影深度圖像像素的權(quán)值。步驟(3.2)對于深度關(guān)鍵幀中的每一個像本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種面向RGBD三維重建的關(guān)鍵幀提取方法，其特征在于包括以下步驟：步驟(1)、將標(biāo)定后的深度相機和彩色相機采集的RGBD數(shù)據(jù)流按照時間戳分組，相鄰若干幀的深度圖像、RGB圖像和用視覺里程計估計的相機位姿為一組數(shù)據(jù)；步驟(2)、對每一組數(shù)據(jù)，根據(jù)深度相機的內(nèi)部參數(shù)，將每一幀深度圖像映射到三維空間中，然后根據(jù)相機位姿向組內(nèi)第一幀深度圖像投影，得到投影深度圖像，投影的過程中更新投影深度圖像中相鄰的整數(shù)坐標(biāo)的像素值，對投影深度圖像的每一個像素，取與組內(nèi)第一幀深度圖像最接近的深度值為實際深度值；步驟(3)、對投影深度圖像的每一個像素，根據(jù)相應(yīng)投影坐標(biāo)的誤差計算其權(quán)值，對組內(nèi)每一幀投影深度圖像，以加權(quán)平均的方式計算最終的深度關(guān)鍵幀的像素值；步驟(4)、對每一組數(shù)據(jù)中的RGB圖像，根據(jù)彩色相機和深度相機的內(nèi)外參數(shù)以及深度關(guān)鍵幀的像素值，將組內(nèi)第一幀RGB圖像映射到三維空間中，然后根據(jù)每一幀的相機位姿分別向組內(nèi)其余幀的RGB圖像投影，用線性插值的方式計算每一個像素的灰度值，得到每一幀圖像對應(yīng)的投影RGB圖像；步驟(5)、對每一幀輸入的RGB圖像，計算其運動模糊程度，結(jié)合投影深度圖像的權(quán)值，計算相應(yīng)的投影RGB圖像中每一個像素對應(yīng)的權(quán)值，對組內(nèi)每一幀投影RGB圖像，以加權(quán)中位數(shù)的方式計算關(guān)鍵幀的灰度值。...

【技術(shù)特征摘要】
1.一種面向RGBD三維重建的關(guān)鍵幀提取方法，其特征在于包括以下步驟：步驟(1)、將標(biāo)定后的深度相機和彩色相機采集的RGBD數(shù)據(jù)流按照時間戳分組，相鄰若干幀的深度圖像、RGB圖像和用視覺里程計估計的相機位姿為一組數(shù)據(jù)；步驟(2)、對每一組數(shù)據(jù)，根據(jù)深度相機的內(nèi)部參數(shù)，將每一幀深度圖像映射到三維空間中，然后根據(jù)相機位姿向組內(nèi)第一幀深度圖像投影，得到投影深度圖像，投影的過程中更新投影深度圖像中相鄰的整數(shù)坐標(biāo)的像素值，對投影深度圖像的每一個像素，取與組內(nèi)第一幀深度圖像最接近的深度值為實際深度值；步驟(3)、對投影深度圖像的每一個像素，根據(jù)相應(yīng)投影坐標(biāo)的誤差計算其權(quán)值，對組內(nèi)每一幀投影深度圖像，以加權(quán)平均的方式計算最終的深度關(guān)鍵幀的像素值；步驟(4)、對每一組數(shù)據(jù)中的RGB圖像，根據(jù)彩色相機...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：齊越，韓尹波，王晨，
申請(專利權(quán))人：北京航空航天大學(xué)，
類型：發(fā)明
國別省市：北京,11