本發明專利技術公開了一種基于深度傳感器的在線視頻分割后的處理方法及系統，該方法包括：步驟1，深度傳感器基于視頻幀和其對應的深度圖像提取特征，對所述特征進行視頻幀前景、背景分割，得到二值圖像；步驟2，對該二值分割圖像中的前景孔洞進行檢測和填充，得到前景孔洞填充后的二值圖像；步驟3，對該前景孔洞填充后的二值圖像進行邊界優化，獲取優化后的二值圖像；步驟4，將該優化后的二值圖像融合虛擬背景和所述視頻幀，生成虛實融合圖像。本發明專利技術解決了基于深度傳感器的在線視頻分割在深度非連續處容易出錯和現有技術在準確度和實時性上存在顧此失彼的問題，提供了一種滿足實時性要求的高質量的基于深度傳感器的在線視頻分割后處理方法和虛實融合系統。
【技術實現步驟摘要】
本專利技術涉及視頻內容分析、圖像處理和計算機視覺領域，特別是涉及一種基于深度傳感器的在線視頻分割后的處理方法及系統。
技術介紹
隨著普適計算技術和視頻編碼技術以及寬頻網絡技術的發展，在因特網上通過遠程視頻實現位于不同地方的人的共同交流和通訊成為21世紀的新熱點，并展現出廣闊的應用前景。除了傳統的行政會議和辦公會議的應用范疇，遠程視頻交互的應用范圍已經擴展到遠程醫療，遠程教育、遠程商務會議和法律等等領域。最近幾年，遠程視頻交互逐步向提供沉浸式體驗發展，目的是讓參與者有身臨奇境的感覺，但是目前的遠程視頻還存在很多問題，并不如“面對面”交流自然，其中一個重要的問題就是交流具備嚴重的空間隔離感，由于視頻交互用戶處于不同的空間位置，因此通過簡單的圖像拼接技術并不能實現多個場景的自然融合，從而不能讓會話人感到所有會話成員都在同一個會話空間之中，產生心靈的隔閡。實時高質量的在線視頻分割技術通過準確的前景提取，并結合虛實融合技術可以實現不同物理位置的用戶猶如身處同一個虛擬會話空間。在線視頻分割指的是提取在線視頻中的前景(多為人體)，其目的是將用戶感興趣的物體(即前景)與視頻幀中的其它部分(即背景)分離開，以便對前景進行特殊處理，如背景替換和虛實融合。所謂虛實融合，指的是將提取的前景與虛擬場景融合到一個統一的三維空間中。為了獲得高質量的融合效果，用于前景提取的分割方法必須要能得到物體的精確邊界，前景提取的結果可用像素的alpha值來表示，alpha值等于0表示像素是背景，alpha值等于I表示像素是前景。對于軟分割或摳圖，alpha值可取0到I之間的連續值。由于在線視頻分割不能有用戶交互，且其對算法的速度和魯棒性都有較高的要求，因此到目前為止還處于非常初級的研究階段。為了達到實時，在線視頻分割方法很難借鑒圖像和視頻摳圖的技術，而只能對輸入圖像進行逐幀的二元分割。一種二元分割方法是將分割問題轉化為一個馬爾科夫隨機場的能量最小化問題，并使用圖切割算法快速地求解。為了獲取高質量的二元分割，傳統的方法是提取多種能用于區分前景和背景的特征，并將這些特征融入到現有的圖像分割框架中。常用的特征有顏色分布、圖像邊緣、背景圖等。除此之外，在線視頻分割還能采用一些新的特征，如深度信息。由于深度信息對于光照變化的魯棒性，因此，利用深度信息對改善分割結果很有幫助。但是，由于深度傳感器獲取的實時深度圖像在深度非連續處容易出錯，而且非常不穩定，從而導致分割結果在邊界附近出現閃爍。為了獲得較好的視覺效果，改善基于深度信息的前景分割結果，一種方法是在分割之后融合彩色圖像中提取的多種額外信息提高分割精度。由于前、背景邊界處經常就是深度非連續處，因此存在嚴重的誤分割。一種后處理方法是利用邊界像素的局部顏色模型和邊界模型估算其混合alpha值，由于該方法能夠自適應地調整邊界區域的寬度，使邊界清晰但不生硬，在一定程度上保證了單幀分割結果的準確性和光滑性。但是該方法沒有利用視頻幀的時序分割結果，難以保證視頻分割時序的一致性。采用摳圖的方法也可以對邊界進行優化，但是摳圖的方法運行速度較慢，很難滿足在線視頻分割的實時性要求。綜上，可以看出，目前分割后處理的方法很難在準確度和實時度上達到一個平衡，難以滿足在線視頻分割的要求。
技術實現思路
本專利技術的目的是解決針對基于深度傳感器的在線視頻分割在邊界容易出錯的現象，及現有技術在準確度和實時性上存在顧此失彼的問題，從而提供一種滿足實時性要求的高質量的基于深度傳感器的在線視頻分割后處理方法和一套虛實融合系統。為實現上述目的，本專利技術提出了一種基于深度傳感器的在線視頻分割后的處理方法，包括步驟1，深度傳感器基于視頻幀和其對應的深度圖像提取特征，對所述特征進行視頻幀前景、背景分割，得到二值圖像，在該二值圖像中，0表示像素是背景，I表示像素是前旦牙、;步驟2，對該二值圖像中的前景孔洞進行檢測和填充，得到前景孔洞填充后的二值圖像；步驟3，對該前景孔洞填充后的二值圖像進行邊界優化，獲取優化后的二值圖像；步驟4，將該優化后的二值圖像融合虛擬背景和所述視頻幀，生成虛實融合圖像。所述步驟2包括步驟201，對所述二值圖像進行輪廓檢測，記輪廓個數為Num，初始化輪廓計數器n=l ；步驟202，判斷n是否小于等于所述輪廓個數Num，當n小于等于所述輪廓個數Num時，執行步驟203 ;否則執行步驟3 ；步驟203，對第n個輪廓的內部區域進行標記，并記該輪廓及其內部包含區域為一個孔洞；步驟204，統計所述孔洞的區域對應位置的非零深度像素的個數；步驟205，判斷所述個數是否為零，非零時執行步驟206，否則執行步驟211 ；步驟206，計算孔洞輪廓邊緣及其權重；步驟207，計算孔洞區域背景相似度及其權重；步驟208，對所述孔洞輪廓邊緣及其權重、所述孔洞區域背景相似度及其權重進行加權計算，得到孔洞背景相似度；步驟209，判斷所述孔洞背景相似度是否小于給定的閾值Tb，小于時，執行步驟210，否則執行步驟211 ；步驟210，對所述孔洞進行前景填充得到所述前景孔洞填充后的二值圖像；步驟211，對輪廓計數器n執行加一操作，并返回步驟202。所述步驟209中的閾值Tb為0. 3。所述步驟3包括步驟301，獲取所述前景孔洞填充后的二值圖像的前景、背景邊界過渡區域；步驟302，計算所述邊界過渡區域中每個像素的局部alpha值，此處的alpha值借鑒了軟分割或摳圖中的定義，用于反映前景和背景的合成情況。alpha值可取O到I之間的連續值，alpha值越趨近于O表示像素與背景越相似，alpha值越趨近于I表示像素與前景越相似；步驟303，計算所述邊界過渡區域中每個像素相對前兩幀的運動概率；步驟304，以運動概率為權值，計算所述邊界過渡區域每個像素的時序分割結果和局部alpha值的加權和,得到混合alpha值；步驟305，判斷所述混合alpha值是否大于給定的閾值Tf，大于時，將二值圖像上對應位置的像素值置為1，表示該像素為前景；否則將二值圖像上對應位置的像素值置為0，表示該像素為背景；步驟306，根據所述步驟305得到邊界優化后的二值圖像。所述步驟305中閾值Tf為0. 5。本專利技術還提供了一種基于深度傳感器的在線視頻分割后的處理系統，包括在線視頻前、背景分割模塊，基于視頻幀和其對應的深度圖像提取特征，對所述特征進行視頻幀前景、背景分割得到二值圖像；檢查填充模塊，用于對該二值分割圖像中的前景孔洞進行檢測和填充得到前景孔洞填充后的二值圖像；優化處理模塊，用于對該前景孔洞填充后的二值圖像進行邊界優化，獲取優化后的二值圖像；虛實融合模塊，用于將所述優化后的二值圖像融合虛擬背景和所述視頻幀，生成虛實融合合成視頻。所述檢查填充模塊包括輪廓檢測模塊，用于對所述二值圖像進行輪廓檢測，記輪廓個數為Num，初始化輪廓計數器n=l ；第一判斷模塊，用于判斷第n個輪廓的輪廓個數是否小于等于所述輪廓個數Num，當n小于等于所述輪廓個數Num時，執行孔洞標記模塊，否則執行優化處理模塊；孔洞標記模塊，用于對所述第n個輪廓的內部區域進行標記，并記該輪廓及其內部包含區域為一個孔洞；統計模塊，用于統計所述孔洞的區域對應位置的非零深度像素的個數；第二判斷模塊，用于判斷個數是否為零，非零時執行計算模塊，否本文檔來自技高網...
【技術保護點】
一種基于深度傳感器的在線視頻分割后的處理方法，其特征在于，包括：步驟1，深度傳感器基于視頻幀和其對應的深度圖像提取特征，對所述特征進行視頻幀前景、背景分割，得到二值圖像；步驟2，對該二值圖像中的前景孔洞進行檢測和填充，得到前景孔洞填充的二值圖像；步驟3，對該前景孔洞填充的二值圖像進行邊界優化，獲取優化后的二值圖像；步驟4，將該優化后的二值圖像融合虛擬背景和所述視頻幀，生成虛實融合圖像。
【技術特征摘要】
【專利技術屬性】
技術研發人員：黃美玉，陳益強，紀雯，
申請(專利權)人：中國科學院計算技術研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。