一種顧及像素區(qū)域預(yù)測的深度圖融合算法制造技術(shù)

本發(fā)明專利技術(shù)公開了一種顧及像素區(qū)域預(yù)測的深度圖融合算法，包括S1、圖像組合的計(jì)算：計(jì)算圖像組合，為場景中每張參考圖像選出一組鄰居候選圖像集；S2、像素區(qū)域的預(yù)測：構(gòu)建粗略尺度的物方體素及測度估計(jì)，并提出了由粗略尺度引導(dǎo)的精細(xì)尺度上融合像素區(qū)域的推斷策略和糾正器；S3、深度值融合：以精細(xì)尺度上已推斷的像素區(qū)域作為像方約束進(jìn)行深度值的融合。優(yōu)點(diǎn)是：在融合過程中加入預(yù)測的思想，將場景中的圖像像素進(jìn)行二元分類，后續(xù)步驟中只對有效像素區(qū)域進(jìn)行深度圖融合，可消除冗余計(jì)算，顯著提高融合效率。融合效率。融合效率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種顧及像素區(qū)域預(yù)測的深度圖融合算法


[0001]本專利技術(shù)涉及深度圖融合
，尤其涉及一種顧及像素區(qū)域預(yù)測的深度圖融合算法。

技術(shù)介紹

[0002]多視立體重建技術(shù)可生成精細(xì)且真實(shí)的三維模型，目前該技術(shù)在大比例尺測圖、三維模型紋理采集和數(shù)字城市快速三維建模等方面得到了廣泛的應(yīng)用。一般包括運(yùn)動恢復(fù)結(jié)構(gòu)(SfM)、密集匹配、深度圖融合、網(wǎng)格構(gòu)建和紋理重建等主要環(huán)節(jié)。多視立體三維重建的圖像(簡稱多視圖像)一般可通過傾斜航空攝影技術(shù)獲取，即通過從五個不同的視角(一個垂直和四個傾斜)同步采集圖像，獲取到豐富的建筑物頂面及側(cè)視的高分辨率紋理。傾斜航空攝影方式采集的圖像(簡稱為傾斜圖像)具有高重疊的特點(diǎn)，可用于保證復(fù)雜地物的重建質(zhì)量，一般情況下，同一航向連續(xù)圖像間的重疊度約為80％，相鄰航向圖像間重疊度約為60％。然而，隨著重建區(qū)域的增大以及重建精度的不斷提高，傾斜圖像的高重疊特點(diǎn)給多視立體重建帶來了愈加嚴(yán)重的冗余計(jì)算，導(dǎo)致重建處理的效率較低。而多視立體重建的冗余計(jì)算問題主要體現(xiàn)在了深度圖融合環(huán)節(jié)，因此，降低深度圖融合中的冗余計(jì)算是提升多視立體重建效率的有效途徑。
[0003]深度圖融合是指將不同視角的深度圖融合到統(tǒng)一的坐標(biāo)框架下并進(jìn)行表面計(jì)算，以產(chǎn)生整個場景的密集點(diǎn)云。目前，國內(nèi)外學(xué)者在這一領(lǐng)域取得了卓有成效的進(jìn)展，算法大致分為三類：基于體素的融合算法、基于特征點(diǎn)擴(kuò)散的融合算法和基于深度圖的融合算法。深度圖融合的重點(diǎn)研究主要集中在融合質(zhì)量和融合效率兩個方面，現(xiàn)有算法在融合質(zhì)量方面較為成熟，但在融合效率方面還存在大量的冗余信息計(jì)算問題，導(dǎo)致融合算法效率較低。基于深度圖的融合算法能夠適應(yīng)不同方式獲取的深度圖，計(jì)算復(fù)雜度較低且魯棒性較高。因此，該類方法成為最常用的深度圖融合算法.
[0004]基于深度圖的融合算法是以多視角深度圖及其相機(jī)的內(nèi)外參數(shù)作為輸入，借助參考圖像與鄰居圖像之間的幾何信息、物體光度特征以及物體在多視角間的可視性等因素作為融合條件，從而生成用于還原真實(shí)地物的三維點(diǎn)云。學(xué)者們不斷地對基于深度圖的融合算法開展相關(guān)研究，重點(diǎn)關(guān)注融合質(zhì)量和冗余計(jì)算消除兩個方面。
[0005]Tola等人從特征提取的角度出發(fā)，通過DASIY特征過濾掉噪聲點(diǎn)，再根據(jù)相鄰視圖的一致性檢查，對產(chǎn)生的冗余點(diǎn)進(jìn)行篩選合并；Schops在檢查多視點(diǎn)之間的冗余計(jì)算時，利用單應(yīng)性矩陣確定對應(yīng)點(diǎn)之間的聯(lián)系，再借助深度圖算出三維空間中點(diǎn)的法向量，并對比法向量排除差異較大的點(diǎn)；Hern
á
ndez通過多視角深度圖統(tǒng)計(jì)出3D空間中每個點(diǎn)在不同視角下可見性的概率情況，通過圖割區(qū)分出物體的前景和背景部分后在對不同區(qū)域深度圖進(jìn)行融合。Merrell P等人使用兩種實(shí)時性的基于視角間可見性的點(diǎn)云融合方法，分別是基于穩(wěn)定性的方法和基于置信度的方法，實(shí)現(xiàn)深度圖的融合。Liu等人采用了多尺度下的迭代方法(MSS)進(jìn)一步優(yōu)化原始的深度圖，再通過閾值方法，對沖突點(diǎn)進(jìn)行篩選。M等人對于新計(jì)算出的每個三維點(diǎn)，計(jì)算這個點(diǎn)的協(xié)方差誤差橢圓，如果這個點(diǎn)的協(xié)方差誤差橢圓
與其他點(diǎn)的協(xié)方差誤差橢圓相交，則將這些點(diǎn)進(jìn)行融合。Liu等人通過定義有限數(shù)量的虛擬視角，盡可能地減少冗余并覆蓋全部場景，在虛擬視角上融合深度圖并實(shí)現(xiàn)三維重建，但算法僅對五個鏡頭的傾斜圖像有效。Shen等人為了消除直接合并深度圖所帶來的大量冗余，通過相鄰圖像的深度圖測試并合并滿足深度值足夠接近的點(diǎn)；Galliani S等人在此基礎(chǔ)上進(jìn)一步完善，首先將每張圖像作為融合的參考圖，然后在弱紋理和遮擋區(qū)域進(jìn)行一致性檢測，同時根據(jù)不同的應(yīng)用需求，平衡了三維點(diǎn)云的準(zhǔn)確性和完整性。
[0006]現(xiàn)有的基于深度圖的融合算法一般通過設(shè)置相對深度差、法線角度和重投影誤差等一致性約束作為融合條件，保證融合生成的三維點(diǎn)云質(zhì)量；但在冗余計(jì)算消除方面只關(guān)注了三維點(diǎn)云的密度而忽略了重復(fù)計(jì)算。當(dāng)場景所包含的圖像之間重疊度越高，即可以看到同一地物的像素?cái)?shù)越多，則深度圖融合時的冗余計(jì)算愈加嚴(yán)重。具體原因分析如下：
[0007](1)參考圖像逐像素的融合判定：
[0008]在融合過程中，現(xiàn)有基于深度圖的融合算法需要對像素計(jì)算一致性約束的值，滿足條件的像素被稱為可接受像素，也稱有效像素；不滿足條件的像素被稱為不可接受像素，也稱為無效像素。圖像中所有有效像素組合成的凸包被稱為有效像素區(qū)；圖像中剩余區(qū)域被稱為無效像素區(qū)，如圖1(a)和1(b)所示。現(xiàn)有基于深度圖的融合算法，不區(qū)分有效像素區(qū)和無效像素區(qū)，需對圖像中全部像素計(jì)算一致性約束值。因此，圖像中無效像素區(qū)的融合判定造成了不必要的冗余信息計(jì)算。
[0009](2)場景中所有圖像均需轉(zhuǎn)換為參考圖像：
[0010]密集匹配階段(一般包括深度圖的估計(jì)和過濾)生成的深度圖通常存在重疊度高、由弱紋理區(qū)域產(chǎn)生的噪聲和表面起伏等特點(diǎn)。為了避免因直接合并深度圖而產(chǎn)生具有大量噪聲的三維點(diǎn)云，現(xiàn)有基于深度圖的融合算法通常會將場景中的全部圖像轉(zhuǎn)換為參考圖像并進(jìn)行融合。但場景的所有圖像中會存在一部分的無效圖像，即圖像中不存在任何有效像素區(qū)，這些圖像無需進(jìn)行融合判定及生成三維點(diǎn)云。因此，無效圖像中像素的一致性約束值計(jì)算也是冗余的。

技術(shù)實(shí)現(xiàn)思路

[0011]本專利技術(shù)的目的在于提供一種顧及像素區(qū)域預(yù)測的深度圖融合算法，從而解決現(xiàn)有技術(shù)中存在的前述問題。
[0012]為了實(shí)現(xiàn)上述目的，本專利技術(shù)采用的技術(shù)方案如下：
[0013]一種顧及像素區(qū)域預(yù)測的深度圖融合算法，包括如下步驟，
[0014]S1、圖像組合的計(jì)算：
[0015]利用SfM重建的共享特征點(diǎn)的數(shù)量作為主要度量指標(biāo)，結(jié)合角度權(quán)重函數(shù)和尺度權(quán)重函數(shù)，聯(lián)合構(gòu)建全局視圖選擇的得分函數(shù)，為場景中每張參考圖像選出一組候選鄰居圖像集合，并基于候選鄰居圖像集合中的每個圖像的全局得分計(jì)算獲取圖像得分之和；
[0016]S2、像素區(qū)域的預(yù)測：
[0017]構(gòu)建粗略尺度上的物方體素，并為每個物方體素選出聚合圖像子集及附屬信息；以粗略尺度為引導(dǎo)，推斷精細(xì)尺度上的有效像素區(qū)域，并基于精細(xì)尺度糾正器糾正來自粗略尺度上物方體素的錯誤估計(jì)；
[0018]S3、深度值融合：
[0019]以精細(xì)尺度上已推斷的像素區(qū)域作為像方約束，判定并篩選得到有效像素，將有效像素深度值對應(yīng)的三維點(diǎn)和法向量估計(jì)的三維點(diǎn)平均為一個統(tǒng)一的三維點(diǎn)。
[0020]優(yōu)選的，步驟S1具體包括如下內(nèi)容，
[0021]S11、構(gòu)建全局得分函數(shù)：以場景中參考圖像R共享的特征點(diǎn)數(shù)量作為加權(quán)并構(gòu)建全局得分函數(shù)g
R
，以計(jì)算候選鄰居圖像集合N中的每個圖像V的全局得分；
[0022][0023]其中，F(xiàn)
V
和F
R
分別為圖像V和參考圖像R的特征點(diǎn)集合；w
N
(f)和w
s
(f)分別為角度權(quán)重函數(shù)和尺度權(quán)重函數(shù)；所述候選鄰居集合N中包括參考圖像R；
[0024]將角度權(quán)重函數(shù)w
N
(f)定義為N中所本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種顧及像素區(qū)域預(yù)測的深度圖融合算法，其特征在于：包括如下步驟，S1、圖像組合的計(jì)算：利用SfM重建的共享特征點(diǎn)的數(shù)量作為主要度量指標(biāo)，結(jié)合角度權(quán)重函數(shù)和尺度權(quán)重函數(shù)，聯(lián)合構(gòu)建全局視圖選擇的得分函數(shù)，為場景中每張參考圖像選出一組候選鄰居圖像集合，并基于候選鄰居圖像集合中的每個圖像的全局得分計(jì)算獲取圖像得分之和；S2、像素區(qū)域的預(yù)測：構(gòu)建粗略尺度上的物方體素，并為每個物方體素選出聚合圖像子集及附屬信息；以粗略尺度為引導(dǎo)，推斷精細(xì)尺度上的有效像素區(qū)域，并基于精細(xì)尺度糾正器糾正來自粗略尺度上物方體素的錯誤估計(jì)；S3、深度值融合：以精細(xì)尺度上已推斷的像素區(qū)域作為像方約束，判定并篩選得到有效像素，將有效像素深度值對應(yīng)的三維點(diǎn)和法向量估計(jì)的三維點(diǎn)平均為一個統(tǒng)一的三維點(diǎn)。2.根據(jù)權(quán)利要求1所述的顧及像素區(qū)域預(yù)測的深度圖融合算法，其特征在于：步驟S1具體包括如下內(nèi)容，S11、構(gòu)建全局得分函數(shù)：以場景中參考圖像R共享的特征點(diǎn)數(shù)量作為加權(quán)并構(gòu)建全局得分函數(shù)g
R
，以計(jì)算候選鄰居圖像集合N中的每個圖像V的全局得分；其中，F(xiàn)
V
和F
R
分別為圖像V和參考圖像R的特征點(diǎn)集合；w
N
(f)和w
s
(f)分別為角度權(quán)重函數(shù)和尺度權(quán)重函數(shù)；所述候選鄰居集合N中包括參考圖像R；將角度權(quán)重函數(shù)w
N
(f)定義為N中所有匹配對的乘積，其中，w
α
(f,V
i
,V
j
)＝min((α/α
max
)2,1)；V
i
,V
j
分別為第i個圖像和第j個圖像；α為從V
i
和V
j
到特征點(diǎn)f的視線之間的夾角；α
max
為夾角α的最大值；計(jì)算參考圖像R的s
R
(f)，并基于比率r＝s
R
(f)/s
V
(f)定義尺度權(quán)重w
s
(f)，其中，s
R
(f)為參考圖像R中以特征點(diǎn)f為中心的球體的直徑；s
V
(f)為圖像V中以特征點(diǎn)f為中心的球體的直徑；S12、計(jì)算圖像得分之和：利用貪心方法迭代地將當(dāng)前最高得分的圖像V逐個添加到最佳鄰居圖像集合中，直到最佳鄰居圖像集合的數(shù)量等于給定大小|N|，獲取圖像得分之和∑
V∈N
′
g
R
(v)。3.根據(jù)權(quán)利要求1所述的顧及像素區(qū)域預(yù)測的深度圖融合算法，其特征在于：步驟S2具體包括如下內(nèi)容，S21、粗略尺度的物方體素測度：借助已恢復(fù)場景中的相機(jī)內(nèi)參、圖像外參、連接點(diǎn)、深度圖以及圖像組合，將場景中部分圖像對應(yīng)的深度圖反投影計(jì)算并采樣生成物方空間的半密集點(diǎn)云以構(gòu)建物方體素，并利用像方可見性測度和物方相交性測度估計(jì)物方體素測度；
所述連接點(diǎn)即為SfM重建的共享特征點(diǎn)；S22、精細(xì)尺寸糾正器：基于像方可見性測度和物方相交性測度構(gòu)建精細(xì)尺度糾正公式，并基于精細(xì)尺寸糾正公式獲取物方體素相對于視圖的有效體素，對有效體素的像素范圍進(jìn)行合并，獲取圖像的有效像素區(qū)域。4.根據(jù)權(quán)利要求3所述的顧及像素區(qū)域預(yù)測的深度圖融合算法，其特征在于：步驟S21具體包括如下內(nèi)容，S211、根據(jù)連接點(diǎn)數(shù)量選出覆蓋所有地物且圖像之間的重疊度小的圖像集合，即體素圖像子集IRV；并利用完備率約束η使IRV在保證覆蓋整個場景地物的前提下，盡可能剔除重疊度高的圖像；其中，∑
j
ImageTiePoint為IRV包含的所有圖像的連接點(diǎn)總數(shù)；|SceneTiePoint|為IR包含的所有圖像的連接點(diǎn)總數(shù)；IR為場景包含的所有圖像組成的集合；S212、對深度圖做降采樣處理，利用公式(5)反投影計(jì)算出三維點(diǎn)，并存儲到半密集點(diǎn)云SemiPC中；其中，X為圖像的世界坐標(biāo)系下的三維點(diǎn)；λ為深度值；是相機(jī)u的旋轉(zhuǎn)矩陣的轉(zhuǎn)置；為相機(jī)u的內(nèi)參矩陣的逆；C
u
為相機(jī)u的平移分量；p為圖像的像素坐標(biāo)；S213、利用八叉樹結(jié)構(gòu)對SemiPC進(jìn)行三維空間劃分，八叉樹中的葉節(jié)點(diǎn)即代表物方體素SceneVoxels；S214、利用像方可見性測度和物方相交性測度兩個定量度量指標(biāo)估計(jì)體素測度。5.根據(jù)權(quán)利要求4所述的顧及像素區(qū)域預(yù)測的深度圖融合算法，其特征在于：步驟S214具體包括如下內(nèi)容，S2141、對SceneVoxels三角剖分形成物方體素網(wǎng)格Sc...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉振東，蔡昊琳，洪志遠(yuǎn)，屈文虎，張帥哲，
申請(專利權(quán))人：中國測繪科學(xué)研究院，
類型：發(fā)明
國別省市：