一種基于交互式的立體圖像分割方法技術

本發明專利技術提供了一種基于交互式的立體圖像分割方法。原本的立體圖像分割方法要求用戶在左右視圖中涂上一致性的前景和背景線條，這項工作非常繁瑣。本方法把單個圖像分割的方法擴展到了立體圖像分割中，僅需要在左視圖中涂前景和背景線條，就能獲得一致性的立體圖像分割結果。首先用戶交互式的在左視圖涂前景和背景線條，然后采樣涂色線條、圖像邊界點以及提取左右視圖特征匹配點，利用這些頂點和采樣線段用限制性Delaunay三角網剖分方法對左視圖構建三角形網格，然后構建能量最優化方程，求解右視圖與左視圖一致的網格，從而獲得左右視圖一致性的涂色線條；隨后構建了特征向量用于搜索每個像素的最近鄰域像素，最后構建非局部線性優化模型，分別對立體圖像左視圖和右視圖進行圖像分割。

【技術實現步驟摘要】

本專利技術涉及一種圖像分割方法，尤其是一種基于交互式的立體圖像分割方法。
技術介紹
圖像分割就是把圖像分成若干個特定的、具有獨特性質的區域并提出感興趣目標的技術和過程。毋庸置疑，圖像分割是數字圖像處理中最重要的組成部分之一。圖像分割技術主要應用于醫學圖像，機器視覺，目標檢測等領域。因為圖像分割問題本質上是一個欠約束的問題。因此大多數圖像分割方法需要用戶提供額外的信息，才能實現對圖像分割的求解。根據提供信息的方式，目前主流的圖像分割方法主要分為如下兩種方式：(1)提供三分圖trimap，即用戶預先劃分為三個區域，包括確定的前景、確定的背景及未知區域。trimap越精確，越有利于問題的精確求解，但用戶的交互量也會隨之增加。(2)用戶使用少量的用戶線條，即用戶在確定的區域涂上前景線條和背景線條，這種方式一般僅需要用戶涂少量的線條，就能獲得很好的圖像分割效果，而且便于用戶的交互，因此最近幾年較多的方式采用了這種方式。圖像分割的目標是盡量減少用戶的輸入信息，同時能精確、快速的獲得圖像分割的區域；在用戶提供額外信息的前提下，大部分的圖像分割方法利用了局部鄰域內像素的強關聯性，對前景不透明的平滑改變進行了約束。參見JianbingShen，YunfanDu，andXuelongLi.InteractiveSegmentationUsingConstrainedLaplacianOptimization.IEEETransactionsonCircuitsandSystemsforVideoTechnology.2014，24(7)：1088-1100。但是這種方法僅僅考慮了局部鄰域內像素的強關聯性，用戶提供額外的前景和背景信息并不能進行遠距離的傳播。因此最近幾年較多學者開始研究非局部的鄰域像素之間的關聯性，由于像素之間的信息可以通過遠距離的傳播，因此相對于局部鄰域內像素的強關聯性方法，基于非局部的鄰域像素之間的關聯性的方法大大減少了用戶輸入的涂色線條。參見QifengChen，DingzeyuLiandChi-KeungTang.KNNMatting.IEEETransactionsonPatternAnalysisandMachineIntelligence.2013，35(9)：2175-2188。隨著立體圖像和視頻在最近幾年變得越來越流行，立體圖像和視頻編輯的需求逐漸升溫。而立體圖像分割則是立體圖像和視頻編輯領域的一個富有挑戰性的熱點課題。立體圖像分割相比于單個圖像分割提出了更多的要求，立體圖像分割的物體必須要保證左右視圖的一致性。針對基于涂色線條的立體圖像，如何輸入左右視圖一致性的涂色線條成為了一個難點。最簡單直觀的方法是用戶在左視圖中輸入涂色線條后，利用立體圖像視差圖把涂色線條遷移至右視圖。但是立體圖像存在遮擋問題，且目前還沒有一個方法能獲得精確的立體圖像視差值，因此使用這種方法進行涂色線條的遷移存在較大的誤差，也就不能保證最終的立體圖像分割的物體具有左右視圖的一致性。Price等人把左右視圖視為一個整體，用戶可以左右視圖中涂前景色和背景色，但是當左右視圖中存在兩個或兩個以上顏色相似的物體，且我們僅需要分割其中一個物體時，則需要提供左右視圖一致性涂色線條，否則會出現立體圖像分割左右視圖不一致的效果。參見BrianL.PriceandScottCohen.StereoCut：ConsistentInteractiveObjectSelectioninStereoImagePairs.ComputerVision(ICCV)，2011IEEEInternationalConferenceon.2011，pp.1148-1155。為了保持立體圖像分割的一致性，用戶需要在左右視圖中分別涂前景和背景色，為了減少用戶的交互，Tasli等人了提出了一種立體圖像分割方法，用戶僅需要在左視圖中涂前景和背景線條，然后通過ORB(OrientedfastandrotatedBRIEF)特征檢測進行涂色線條遷移，但是該方法的質量完全依賴于特征檢測的效果，當涂色線條的位置特征點無法檢測的時候，立體圖像分割結果就會產生錯誤。參見H.EmrahTasliandA.AydinAlatan.Userassistedstereoimagesegmentation.3DTV-Conference：TheTrueVision-Capture，TransmissionandDisplayof3DVideo.2012，pp.1-4。
技術實現思路
本專利技術的目的：本專利技術提出了一種基于交互式的立體圖像分割方法，該方法把圖像分割技術應用到了立體圖像分割中，用戶僅僅需要在立體圖像左視圖中圖涂前景和背景線條，該方法通過構建左右一致性網格自動把涂色線條一致性的遷移到右視圖中，另外還設計了一個非局部線性優化模型，分別對立體圖像左視圖和右視圖進行圖像分割。具有很強的靈活性和廣闊的適用性。該方法設計的非局部線性優化模型減少了用戶的交互，而且一致性的線條遷移技術使用戶不需要分別在左右視圖中涂一致性的線條就能產生一致性的圖像分割效果。本專利技術提供一種基于交互式的立體圖像分割方法，其包括以下步驟：1)輸入待處理立體圖像，將其作為輸入圖像，并通過交互式的方式在輸入圖像的左視圖涂前景和背景線條，其中涂色前景和背景線條標記為S；2)提取左視圖中涂色前景和背景線條的中心線L，并進行均勻采樣獲得采樣點(pij，|i＝1..nc，j＝1..ni)，其中ni和nc分別為中心線的采樣點數和線條數，對輸入圖像的左視圖沿著圖像的邊界進行均勻采樣獲得采樣點B，對輸入圖像的左視圖和右視圖進行SIFT(Scale-invariantfeaturetransform)特征點匹配，獲得匹配對其中nF為匹配對數量；3)采用限制性的Delaunay三角網剖分方法對左視圖構建三角形網格，其中，{Fkl|k=1..nF本文檔來自技高網...

【技術保護點】
一種基于交互式的立體圖像分割方法，其特征在于：其包括以下步驟：1)輸入待處理立體圖像，將其作為輸入圖像，并通過交互式的方式在輸入圖像的左視圖涂前景和背景線條，其中涂色前景和背景線條標記為S；2)提取左視圖中涂色前景和背景線條的中心線L，并進行均勻采樣獲得采樣點(Pij，|i＝1..nc，j＝1..ni)，其中ni和nc分別為中心線的采樣點數和線條數，對輸入圖像的左視圖沿著圖像的邊界進行均勻采樣獲得采樣點B，對輸入圖像的左視圖和右視圖進行SIFT(Scale?invariant?feature?transform)特征點匹配，獲得匹配對其中nF為匹配對數量；3)采用限制性的Delaunay三角網剖分方法對左視圖構建三角形網格，其中，{Fkl|k=1..nF}∪{Pij|i=1..nc,j=1..ni}∪B]]>作為頂點限制項，{Pi1lPi2l,Pi2lPi2l,...Pini-1lPinil|i=1..nc}]]>作為線段限制項，然后構建能量最優化方程，獲得右視圖與左視圖一致性的網格；4)左視圖根據步驟2)中獲得的采樣點(Pij，|i＝1..nc，j＝1..ni)重建含涂色線條左視圖，右視圖根據一致性網格中相應的網格頂點生成含涂色線條右視圖；5)分別對重建的含涂色線條左視圖和含涂色線條右視圖進行特征向量構建；6)基于步驟5)中獲得的特征向量，用KNN(K?Nearest?Neighborhood)分別求出立體圖像左視圖和右視圖中每個像素最近的10個像素，作為對應像素的最近鄰域像素7)構建非局部線性優化模型，分別對立體圖像左視圖和右視圖進行圖像分割。...

【技術特征摘要】
2015.09.29 CN 20151065368201.一種基于交互式的立體圖像分割方法，其特征在于：其包括以下步驟：1)輸入待處理
立體圖像，將其作為輸入圖像，并通過交互式的方式在輸入圖像的左視圖涂前景和背景線
條，其中涂色前景和背景線條標記為S；
2)提取左視圖中涂色前景和背景線條的中心線L，并進行均勻采樣獲得采樣點(Pij，|i
＝...

【專利技術屬性】
技術研發人員：厲旭杰，趙漢理，黃輝，
申請(專利權)人：溫州大學，
類型：發明
國別省市：浙江;33