基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建方法技術(shù)

本發(fā)明專利技術(shù)公開(kāi)了一種基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建的方法。能夠?qū)r(shí)空一致態(tài)分割，方法魯棒而且不需要對(duì)于背景的先驗(yàn)知識(shí)。此方法允許參與拍攝的多目攝性深度恢復(fù)和靜態(tài)/動(dòng)態(tài)雙層分割同時(shí)進(jìn)行求解，亦不需要精確的靜態(tài)/動(dòng)像機(jī)自由獨(dú)立地移動(dòng)，能處理僅個(gè)的攝像機(jī)拍攝的動(dòng)態(tài)場(chǎng)景。步驟如下：利用每個(gè)時(shí)刻的跨越個(gè)攝像機(jī)的同步視頻幀來(lái)初始化時(shí)刻的深度圖；二、展開(kāi)時(shí)空一致性深度優(yōu)化及靜態(tài)/動(dòng)態(tài)雙層分割，迭代地執(zhí)行輪的時(shí)空一致性優(yōu)化，實(shí)現(xiàn)高質(zhì)量的動(dòng)態(tài)3D重建。本發(fā)明專利技術(shù)不需要精確的靜態(tài)/動(dòng)態(tài)分割，并且對(duì)于復(fù)雜場(chǎng)景所產(chǎn)生的錯(cuò)誤分割信息會(huì)更具有魯棒性，在3D立體影像、3D動(dòng)畫(huà)、增強(qiáng)現(xiàn)實(shí)和運(yùn)動(dòng)捕獲等領(lǐng)域?qū)?huì)有很高的應(yīng)用價(jià)值。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及的立體匹配和深度恢復(fù)方法，尤其涉及基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建方法。
技術(shù)介紹
視頻的稠密深度恢復(fù)技術(shù)是計(jì)算機(jī)中層視覺(jué)領(lǐng)域的基礎(chǔ)技術(shù)之一，其在3D建模、3D影像、增強(qiáng)現(xiàn)實(shí)和運(yùn)動(dòng)捕獲等眾多領(lǐng)域中有及其重要的應(yīng)用。這些應(yīng)用通常要求深度恢復(fù)結(jié)果具有很高精度和時(shí)空一致性。視頻的稠密深度恢復(fù)技術(shù)的難點(diǎn)在于對(duì)于場(chǎng)景中的靜態(tài)和動(dòng)態(tài)物體，所恢復(fù)的深度值具有很高的精度和時(shí)空一致性。雖然目前對(duì)于靜態(tài)場(chǎng)景的深度恢復(fù)技術(shù)已能夠恢復(fù)具有較高精度的深度信息，但是自然界處處充滿了運(yùn)動(dòng)的物體，對(duì)于視頻場(chǎng)景中包含的動(dòng)態(tài)物體來(lái)說(shuō)，現(xiàn)有的深度恢復(fù)方法都很難達(dá)到較高的精度及時(shí)空域上的一致性。這些方法通常要求較多個(gè)固定放置的同步攝像機(jī)對(duì)場(chǎng)景進(jìn)行捕獲，在每個(gè)時(shí)刻對(duì)同步的多目視頻幀利用多視圖幾何的方法進(jìn)行立體匹配，從而恢復(fù)每個(gè)時(shí)刻的深度信息。而這種拍攝方法更多是被應(yīng)用于實(shí)驗(yàn)室內(nèi)動(dòng)態(tài)場(chǎng)景的拍攝工作，實(shí)際拍攝過(guò)程中這種拍攝模式會(huì)有很多限制。另外現(xiàn)有的方法在時(shí)序上優(yōu)化深度的過(guò)程中，通常利用光流尋找到不同時(shí)刻視頻幀上對(duì)應(yīng)像素點(diǎn)，然后將對(duì)應(yīng)點(diǎn)的深度值或3D點(diǎn)位置進(jìn)行線性或曲線擬合，從而估計(jì)出當(dāng)前幀像素點(diǎn)的深度信息。這種時(shí)域上3D光順化的方法只能使得時(shí)序上對(duì)應(yīng)像素點(diǎn)的深度更為一致，并不能優(yōu)化出真正準(zhǔn)確的深度值；同時(shí)由于光流估計(jì)不魯棒性的普遍存在，使得動(dòng)態(tài)點(diǎn)的深度優(yōu)化問(wèn)題變得更為復(fù)雜難解。現(xiàn)有的視頻深度恢復(fù)方法主要分為兩大類1.對(duì)于單目靜態(tài)場(chǎng)景視頻`的時(shí)域一致性深度恢復(fù)此類方法較為典型的是Zhang于09年提出的方法G. Zhang, J. Jia, T. _T.Wong, and H. Bao. Consistent depth maps recovery from a video sequence.1EEETransactions on Pattern Analysis and Machine Intelligence, 31(6): 974 - 988，2009.。此方法首先利用傳統(tǒng)多視圖幾何的方法初始化每幀圖像的深度，然后在時(shí)域上利用bundle optimization技術(shù)統(tǒng)計(jì)多個(gè)時(shí)刻的幾何和顏色一致性來(lái)優(yōu)化當(dāng)前巾貞的深度。此方法對(duì)于靜態(tài)場(chǎng)景能夠恢復(fù)出高精度的深度圖；對(duì)于包含動(dòng)態(tài)物體的場(chǎng)景，此方法不能恢復(fù)動(dòng)態(tài)物體的深度值。2.對(duì)于多目動(dòng)態(tài)場(chǎng)景視頻的深度恢復(fù)此類方法較為典型的是Zitnick的方法C. L. Zitnick, S. B. Kang, Μ.Uyttendaelej S. Winder, and R. Szelisk1. High-quality video view interpolationusing a layered representation. ACM Transactions on Graphics, 23:600 - 608,August 2004.、Larsen 的方法E. S. Larsen, P. Mordohaij M. Pollefeysj and H.Fuchs. Temporally consistent reconstruction from multiple video streams usingenhanced belief propagation.1n ICCVj pages 1-8，2007.以及 Lei 的方法C. LeijX. D. Chen, and Y. H. Yang. A new mult1-view spacetime-consistent depth recoveryframework for free viewpoint video rendering.1n ICCVj pages 1570 - 1577， 2009.。這些方法都利用同一時(shí)刻的多目同步視頻幀恢復(fù)深度圖，要求利用較多數(shù)目的固定放置的同步攝像機(jī)拍攝動(dòng)態(tài)場(chǎng)景，不適合用于戶外實(shí)際拍攝。Larsen和Lei的方法分別利用時(shí)空域上置信度傳遞(belief propagation)和時(shí)域3D光順化的方法來(lái)優(yōu)化深度值,使得這些方法不夠魯棒，不能處理光流估計(jì)產(chǎn)生嚴(yán)重錯(cuò)誤的情況。3.基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建的方法的步驟I)使用了 Tola提出的 DAISY 特征描述符E. Tola, V. Lepetit, and P. Fua. Daisy: An efficientdense descriptor applied to wide-baseline stereo.1EEE Transactions on PatternAnalysis and Machine Intelligence, 32 (5):815 - 830，2010.
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于針對(duì)現(xiàn)有“動(dòng)態(tài)場(chǎng)景深度恢復(fù)技術(shù)”的不足，提供一種基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3 D重建方法。基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建的方法的步驟如下I)利用多視圖幾何方法結(jié)合DAISY特征向量，對(duì)于同一時(shí)刻的多目視頻幀進(jìn)行立體匹配，得到多目視頻每一時(shí)刻的初始化深度圖，并且對(duì)于遮擋區(qū)域出現(xiàn)的明顯深度錯(cuò)誤，利用同步幀之間的可見(jiàn)性圖來(lái)加以處理以獲得更為精確的初始深度；2)利用步驟I)得到的初始化的深度圖，每個(gè)像素點(diǎn)具有兩套變量需要推斷一為像素點(diǎn)深度值，二為像素點(diǎn)靜態(tài)/動(dòng)態(tài)分類，對(duì)像素點(diǎn)給出不同數(shù)據(jù)項(xiàng)懲罰函數(shù)來(lái)統(tǒng)一地衡量，對(duì)于靜態(tài)點(diǎn)，用Bundle Optimization算法其數(shù)據(jù)項(xiàng)懲罰值,對(duì)于動(dòng)態(tài)點(diǎn)，引入時(shí)空一致性約束來(lái)計(jì)算其數(shù)據(jù)懲罰值，然后迭代地優(yōu)化方程，從而在優(yōu)化深度圖的同時(shí)對(duì)像素點(diǎn)的靜態(tài)/動(dòng)態(tài)標(biāo)記進(jìn)行推斷。所述的步驟I)為(I)利用多視圖幾何方法結(jié)合DAISY特征描述符，對(duì)于同一時(shí)刻的多目視頻幀進(jìn)行立體匹配，通過(guò)如下能量?jī)?yōu)化方程式求解每一時(shí)刻圖像幀的初始化深度圖本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建的方法，其特征在于它的步驟如下：1）利用多視圖幾何方法結(jié)合DAISY特征向量，對(duì)于同一時(shí)刻的多目視頻幀進(jìn)行立體匹配，得到多目視頻每一時(shí)刻的初始化深度圖，并且對(duì)于遮擋區(qū)域出現(xiàn)的明顯深度錯(cuò)誤，利用同步幀之間的可見(jiàn)性圖來(lái)加以處理以獲得更為精確的初始深度；2）利用步驟1）得到的初始化的深度圖，每個(gè)像素點(diǎn)具有兩套變量需要推斷：一為像素點(diǎn)深度值，二為像素點(diǎn)靜態(tài)/動(dòng)態(tài)分類，對(duì)像素點(diǎn)給出不同數(shù)據(jù)項(xiàng)懲罰函數(shù)來(lái)統(tǒng)一地衡量，對(duì)于靜態(tài)點(diǎn)，用Bundle?Optimization算法其數(shù)據(jù)項(xiàng)懲罰值，對(duì)于動(dòng)態(tài)點(diǎn)，引入時(shí)空一致性約束來(lái)計(jì)算其數(shù)據(jù)懲罰值，然后迭代地優(yōu)化方程，從而在優(yōu)化深度圖的同時(shí)對(duì)像素點(diǎn)的靜態(tài)/動(dòng)態(tài)標(biāo)記進(jìn)行推斷。

【技術(shù)特征摘要】
1.一種基于聯(lián)合優(yōu)化的多攝像機(jī)動(dòng)態(tài)場(chǎng)景3D重建的方法，其特征在于它的步驟如下 1)利用多視圖幾何方法結(jié)合DAISY特征向量，對(duì)于同一時(shí)刻的多目視頻幀進(jìn)行立體匹配，得到多目視頻每一時(shí)刻的初始化深度圖，并且對(duì)于遮擋區(qū)域出現(xiàn)的明顯深度錯(cuò)誤，利用同步幀之間的可見(jiàn)性圖來(lái)加以處理以獲得更為精確的初始深度； 2)利用步驟I)得到的初始化的深度圖，每個(gè)像素點(diǎn)具有兩套變量需要推斷一為像素點(diǎn)深度值，二為像素點(diǎn)靜態(tài)/動(dòng)態(tài)分類，對(duì)像素點(diǎn)給出不同數(shù)據(jù)項(xiàng)懲罰函數(shù)來(lái)統(tǒng)一地衡量，對(duì)于靜態(tài)點(diǎn)，用Bundle Optimization算法其數(shù)據(jù)項(xiàng)懲罰值,對(duì)于動(dòng)態(tài)點(diǎn)，引入時(shí)空一致性約束來(lái)計(jì)算其數(shù)據(jù)懲罰值，然后迭代地優(yōu)化方程，從而在優(yōu)化深度圖的同時(shí)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：章國(guó)鋒，鮑虎軍，姜翰青，
申請(qǐng)(專利權(quán))人：浙江大學(xué)，
類型：發(fā)明
國(guó)別省市：