一種基于彩色圖像分割的Kinect深度圖修復(fù)方法技術(shù)

本發(fā)明專利技術(shù)涉及一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，本方法將對應(yīng)的彩色圖像分割結(jié)果作為參考信息修復(fù)深度圖，來重建深度圖的無效區(qū)域，再利用彩色圖像作為引導(dǎo)信息對重建后的深度圖濾波，達(dá)到去噪的效果；以實(shí)現(xiàn)在同時拍攝的彩色圖像的提供參考信息的基礎(chǔ)上，通過對彩色圖像分割處理，獲得深度圖空洞重建區(qū)域，得到較好質(zhì)量的Kinect深度圖。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于彩色圖像分割的Kinect深度圖修復(fù)方法
：本專利技術(shù)涉及一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，屬于圖像處理的

技術(shù)介紹
：隨著立體顯示技術(shù)和視頻處理技術(shù)的發(fā)展，深度圖成為近年來立體視覺技術(shù)中的研究熱點(diǎn)，并被廣泛應(yīng)用于三維重建、3D電視、深度圖像渲染(DIBR)、圖像分割等眾多領(lǐng)域。深度圖可以通過立體匹配算法或深度相機(jī)獲得。立體匹配算法是在由雙目相機(jī)獲取的圖像對中確定像素對應(yīng)點(diǎn)來計算視差圖，然后根據(jù)幾何關(guān)系轉(zhuǎn)換為深度圖。由于該類方法計算成本高，大部分的立體匹配方法無法用于實(shí)際應(yīng)用。深度相機(jī)直接獲取深度信息，一般通過發(fā)射和接收反射光來計算深度信息以實(shí)現(xiàn)深度信息的實(shí)時提取。隨著傳感器技術(shù)的發(fā)展，現(xiàn)在市場上出現(xiàn)了很多深度攝像機(jī)。其中Kinect是由微軟研發(fā)的深度相機(jī)，可以同時獲得深度圖和彩色圖像。由于價格低以及實(shí)時的深度圖像獲取能力，Kinect相機(jī)在游戲產(chǎn)業(yè)和科學(xué)研究中都得到了廣泛應(yīng)用。但Kinect獲取的深度圖也存在著很多問題。首先，由于作用距離的限制以及反射、遮擋等因素影響，Kinect深度圖存在很多空洞——沒有有效深度的區(qū)域，特別是在前景對象的邊界部分；第二，Kinect深度圖中也存在著嚴(yán)重噪聲。Kinect的深度圖需修復(fù)以便用于需要高質(zhì)量深度圖的實(shí)際應(yīng)用中，在這個問題上人們已有很多研究。DanMiao等在論文“Texture-assistedKinectDepthInpainting”中提出了利用彩色圖像紋理作為輔助信息的Kinect的深度修補(bǔ)算法，其中，在彩色圖像中紋理邊緣被提取為輔助信息，在深度圖中對平滑區(qū)域和邊緣區(qū)域中采用不同的修復(fù)方案。JunyiLiu等人在論文“GuidedInpaintingandFilteringforKinectDepthMaps”中提出了引導(dǎo)快速行進(jìn)算法(guidedfastmarchingmethod，GFFM)來修復(fù)Kinect深度圖。S.Matyunin在論文“TemporalfilteringfordepthmapsgeneratedbyKinectdepthcamera”提出了使用從視頻中物體的運(yùn)動和顏色信息來處理Kinect深度圖。但是現(xiàn)有的Kinect深度圖修復(fù)方法很難處理大的空洞，在由于邊界遮擋而形成空洞處也難于給出比較準(zhǔn)確的深度值。
技術(shù)實(shí)現(xiàn)思路
：針對現(xiàn)有技術(shù)方案所存在的缺陷和不足，本專利技術(shù)提供一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，本方法將對應(yīng)的彩色圖像分割結(jié)果作為參考信息修復(fù)深度圖，來重建深度圖的無效區(qū)域，再利用彩色圖像作為引導(dǎo)信息對重建后的深度圖濾波，達(dá)到去噪的效果；以實(shí)現(xiàn)在同時拍攝的彩色圖像的提供參考信息的基礎(chǔ)上，通過對彩色圖像分割處理，獲得深度圖空洞重建區(qū)域，得到較好質(zhì)量的Kinect深度圖。專業(yè)技術(shù)術(shù)語：有效深度：在Kinect獲得的深度圖是一副灰度圖，灰度取值范圍在[0，255]之間，有效深度指取值范圍在[1，255]之間的深度，而無效深度是指由于遮擋、反光等因素而造成的取值為0的深度，表示Kinect相機(jī)沒有獲得該像素的實(shí)際深度。引導(dǎo)濾波：是現(xiàn)有的一種新的濾波技術(shù)，使用一副圖像(引導(dǎo)圖像)對另一幅圖像進(jìn)行濾波，能夠有效的保持待濾波圖像的邊緣信息。本專利技術(shù)的技術(shù)方案如下：一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，包括步驟如下：A、獲取彩色圖像和深度圖；將同時獲得的彩色圖像和深度圖對齊；B、對彩色圖像做分割預(yù)處理；對彩色圖像做分割預(yù)處理，得到彩色圖像的所有分割物體區(qū)域；C、缺失深度值Dp估計；對空洞邊界上缺失深度值的像素p所在的分割物體區(qū)域Rk，在分割后的彩色圖像中選擇對應(yīng)的分割物體區(qū)域Rk；在深度圖的分割物體區(qū)域Rk中，選擇像素p周圍深度值已知的像素點(diǎn)的深度值Dq；利用彩色圖像中的分割物體區(qū)域Rk和深度圖的分割物體區(qū)域Rk中深度值Dq進(jìn)行缺失深度值Dp估計，得到中間深度圖；使用像素p周圍深度值已知的像素點(diǎn)的深度值Dq計算p的深度值，并只在同一個分割物體區(qū)域Rk中的像素被選擇用于計算，這避免不同的對象的深度值的干擾，因此它可以產(chǎn)生一個具有更精確邊界的深度圖；D、對中間深度圖進(jìn)行去噪。本專利技術(shù)所述方法包括兩個大的步驟。首先基于彩色圖像分割給出估計的空洞中缺失的深度值；第二，對空洞填充后的深度圖進(jìn)行濾波去噪。本方法的創(chuàng)新在于，利用彩色圖像分割結(jié)果在深度圖估計缺失的深度值，從而可以消除在計算深度值過程中的不同物體的影響，并在深度圖中給出前景物體的更準(zhǔn)確的邊界。在深度圖修復(fù)中使用彩色圖像作為引導(dǎo)，顏色信息被用來區(qū)分不同的物體。假定具有類似顏色的相鄰像素屬于同一物體，具有相似的深度值。根據(jù)本專利技術(shù)優(yōu)選的，所述步驟A、獲取彩色圖像和深度圖的方法包括：使用Kinect相機(jī)同時獲取彩色圖像和深度圖，將所述彩色圖像和深度圖對齊；所述對齊是指所獲取的彩色圖像和深度圖中，同一位置的彩色像素和深度值是一一對應(yīng)的。根據(jù)本專利技術(shù)優(yōu)選的，所述步驟B、對彩色圖像做分割預(yù)處理的方法包括：對彩色圖像進(jìn)行圖像分割,得到彩色圖像的所有分割物體區(qū)域；彩色圖像分割后的分割物體區(qū)域?yàn)?R1,R2,…,Rn)，其中，n是分割物體區(qū)域的個數(shù)；在步驟A中已經(jīng)將所述彩色圖像和深度圖進(jìn)行了對齊處理，因此所述分割物體區(qū)域，在彩色圖像和深度圖中表示坐標(biāo)位置相同的區(qū)域。圖像分割是現(xiàn)有的圖像處理技術(shù)，這里的分割可以采用一些常見方法，例如分水嶺的方法，meanshift方法。根據(jù)本專利技術(shù)優(yōu)選的，所述步驟C、缺失深度值估計的方法包括：在深度圖中順時針或者逆時針沿著空洞的邊界從外到內(nèi)進(jìn)行缺失深度值估計；對空洞邊界上缺失深度值的像素p所在的分割物體區(qū)域Rk，其中，k∈(1，…,n)，在分割后的彩色圖像中選擇對應(yīng)的分割物體區(qū)域Rk；按照現(xiàn)有技術(shù)沿著空洞邊界，從外到內(nèi)可以有效地利用已有的深度值(包括實(shí)際拍攝和估計得到的)對無效深度進(jìn)行計算。在深度圖的分割物體區(qū)域Rk中，使用像素p周圍深度值已知的像素點(diǎn)的深度值Dq計算p的深度值Dp，Dp的計算公式為：其中，N(p)表示像素鄰域，所述像素鄰域是M×M的正方形窗口，ωq表示深度值Dp的群權(quán)重，是空域高斯權(quán)重ωqs和顏色高斯權(quán)重ωqc的乘積，即：ωq＝ωqsωqc(2)空域高斯權(quán)重ωqs是由像素p的坐標(biāo)sp(xp,yp)和q的坐標(biāo)sq(xq,yq)定義,表示兩者之間距離對深度值Dp的群權(quán)重ωq的影響；σs表示空域高斯權(quán)重ωqs的標(biāo)準(zhǔn)差，是根據(jù)實(shí)際應(yīng)用選擇的；顏色高斯權(quán)重ωqc由彩色圖像中像素p的顏色值Cp(Rp,Gp,Bp)和彩色圖像中像素q的顏色值Cq(Rq,Gq,Bq)定義，表示兩者之間顏色差異對深度值Dp的群權(quán)重ωq的影響；σc表示顏色高斯權(quán)重ωqc的標(biāo)準(zhǔn)差，是根據(jù)實(shí)際應(yīng)用選擇的；使用像素p周圍深度值已知的像素點(diǎn)的深度值計算p的深度值Dp，并只在同一個分割物體區(qū)域Rk中的像素被選擇用于計算，用于產(chǎn)生一個具有更精確邊界的深度圖；對Dp的值進(jìn)行計算的過程即是對深度圖中的空洞進(jìn)行重建的過程，得到空洞重建后的中間深度圖；只在同一個分割物體區(qū)域Rk中的像素被選擇用于計算，這避免不同的對象的深度值的干擾。根據(jù)本專利技術(shù)優(yōu)選的，所述步驟D中所述去噪的方法是引導(dǎo)濾波的方法；以彩色圖像作為引導(dǎo)信息，采用引導(dǎo)濾波(Guidedfilter)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于，包括步驟如下：A、獲取彩色圖像和深度圖；B、對彩色圖像做分割預(yù)處理；C、缺失深度值Dp估計；對空洞邊界上缺失深度值的像素p所在的分割物體區(qū)域Rk，在分割后的彩色圖像中選擇對應(yīng)的分割物體區(qū)域Rk；在深度圖的分割物體區(qū)域Rk中，選擇像素p周圍深度值已知的像素點(diǎn)的深度值Dq；利用彩色圖像中的分割物體區(qū)域Rk和深度圖的分割物體區(qū)域Rk中深度值Dq進(jìn)行缺失深度值Dp估計，得到中間深度圖；D、對中間深度圖進(jìn)行去噪。

【技術(shù)特征摘要】
1.一種基于彩色圖像分割的Kinect深度圖修復(fù)方法，其特征在于，包括步驟如下：A、獲取彩色圖像和深度圖；B、對彩色圖像做分割預(yù)處理；C、缺失深度值Dp估計；對空洞邊界上缺失深度值的像素p所在的分割物體區(qū)域Rk，在分割后的彩色圖像中選擇對應(yīng)的分割物體區(qū)域Rk；在深度圖的分割物體區(qū)域Rk中，選擇像素p周圍深度值已知的像素點(diǎn)的深度值Dq；利用彩色圖像中的分割物體區(qū)域Rk和深度圖的分割物體區(qū)域Rk中深度值Dq進(jìn)行缺失深度值Dp估計，得到中間深度圖；缺失深度值估計的方法包括：在深度圖中順時針或者逆時針沿著空洞的邊界從外到內(nèi)進(jìn)行缺失深度值估計；對空洞邊界上缺失深度值的像素p所在的分割物體區(qū)域Rk，其中，k∈(1，…,n)，在分割后的彩色圖像中選擇對應(yīng)的分割物體區(qū)域Rk；在深度圖的分割物體區(qū)域Rk中，使用像素p周圍深度值已知的像素點(diǎn)的深度值Dq計算p的深度值Dp，Dp的計算公式為：其中，N(p)表示像素鄰域，所述像素鄰域是M×M的正方形窗口，ωq表示深度值Dp的群權(quán)重，是空域高斯權(quán)重ωqs和顏色高斯權(quán)重ωqc的乘積，即：ωq＝ωqsωqc空域高斯權(quán)重ωqs是由像素p的坐標(biāo)sp(xp,yp)和q的坐標(biāo)sq(xq,yq)定義,表示兩者之間距離對深度值Dp的群權(quán)重ωq的影響；

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳輝，李海坤，
申請(專利權(quán))人：山東大學(xué)，
類型：發(fā)明
國別省市：山東;37