基于不同相機間距的立體圖像克隆方法技術

本發明專利技術屬于圖像處理技術領域，為提出針對相機間距不一致時的立體圖像克隆算法。本發明專利技術采用的技術方案是，基于不同相機間距的立體圖像克隆方法,首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續的網格變形，之后通過調整視差來調整立體圖像克隆區域的形狀和大小，最后將調整后的立體圖像克隆區域融合到目標圖像中。本發明專利技術主要應用于圖像處理場合。

【技術實現步驟摘要】
基于不同相機間距的立體圖像克隆方法
本專利技術屬于圖像處理
，具體講,涉及一種基于不同相機間距的立體圖像克隆算法。
技術介紹
隨著3D電影和電視等3D媒體的增加，3D內容受到了用戶的廣泛關注。因此，一旦用戶能夠很方便地接觸到3D相機和3D顯示設備，就會希望能夠像編輯2D圖像一樣編輯3D圖像，然而，將2D圖像編輯的方法直接應用到3D圖像，往往不能產生令人舒適愉悅的視覺體驗。目前，關于2D圖像克隆已經有很多成熟的算法，然而3D圖像克隆面臨著許多新的挑戰：1)3D圖像相比2D圖像增加了深度約束，因此，為了保證立體圖像克隆過程中的深度一致性，需要對克隆區域的大小和形狀進行調整。2)為了舒適的視覺體驗，需要保持左視點圖像和右視點圖像之間的對應關系。目前，已有部分研究人員對立體圖像克隆進行了研究。Lo等人提出了一種3D復制和粘貼的方法，需要精確分割源圖像中的待克隆對象，并將其粘貼到目標圖像中。Luo等人提出了一種基于透視感知變形的無縫立體圖像克隆算法，該算法不需要對源圖像中的待克隆區域進行精確分割，可以處理具有模糊邊界、不易分割的克隆對象。然而，在立體圖像克隆的過程中，上述研究都假設拍攝源圖像和拍攝目標圖像的立體相機的相機間距是一致的。然而，實際中，拍攝源圖像和拍攝目標圖像的立體相機的相機間距往往不一致，因此，相機間距不一致時的立體圖像克隆問題亟待解決。
技術實現思路
為克服現有技術的不足，本專利技術旨在提出針對相機間距不一致時的立體圖像克隆算法。本專利技術采用的技術方案是，基于不同相機間距的立體圖像克隆方法,首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續的網格變形，之后通過調整視差來調整立體圖像克隆區域的形狀和大小，最后將調整后的立體圖像克隆區域融合到目標圖像中。圖像預處理具體步驟是，計算源圖像和目標圖像的視差圖，同時為源圖像和目標圖像構建四邊形網格，構建方式如下：首先用一個均勻網格Ml＝(Vl,El,Fl)表示源圖像的左視點圖像，其中Vl表示左視點圖像的網格頂點，El表示左視點圖像的網格邊，Fl表示左視點圖像的網格四邊形，之后根據源圖像的視差圖構建源圖像右視點圖像的網格Mr＝(Vr,Er,Fr)，其中，Vr表示右視點圖像的網格頂點，Er表示右視點圖像的網格邊，Fr表示右視點圖像的網格四邊形。輪廓處理具體步驟是，結合源圖像的左視點圖像的初始均勻網格對用戶繪制的任意輪廓進行調整，使新輪廓為包含用戶繪制輪廓的最小矩形輪廓，其中矩形輪廓的四個角點均為源圖像的左視點圖像的初始均勻網格中的網格頂點，在獲得源圖像的左視點圖像的新輪廓之后，根據源圖像視差圖獲得源圖像的右視點圖像的新輪廓，輪廓包圍區域即為源圖像克隆區域。調整視差來迭代調整立體圖像克隆區域的形狀和大小即迭代優化變形，具體步驟是，1)視差調整調整方式如下：采用源圖像克隆區域的視差圖梯度場作為求解下式的引導場G0，同時迫使調整后的源圖像克隆區域邊緣的視差和目標立體圖粘貼區域邊緣的視差相同，通過求解下述加權泊松等式的最小值獲得調整后的源圖像克隆區域的視差圖其中是為源圖像克隆區域制定的權重函數，用于懲罰更為平滑的區域，DT表示目標圖像視差圖，表示源圖像克隆區域的輪廓，表示調整后的源圖像克隆區域的視差圖的梯度場；2)基于四邊形網格的優化變形2.1場景物體大小與視差的關系假定立體相機攝像頭平行設置，根據幾何關系及相似三角形定理，推導出場景物體深度z和相機間距b之間的關系為：其中，b表示立體相機間距，f表示相機焦距，z表示場景物體的深度，d＝xL-xR表示圖像視差，xL和xR表示同一場景物體在左視點圖像和右視點圖像的對應橫坐標；根據幾何關系及相似三角形定理，推導出場景物體在立體圖像平面上的大小與場景物體深度之間的關系為其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小，由此推導出場景物體在立體圖像平面上的大小x與圖像視差d之間的關系為：由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機間距b有關，而與立體相機焦距f無關；對于同一場景物體L1，其在源圖像上和目標圖像上的大小分別為x1和x2，視差分別為d1和d2，雙目立體相機間距分別為b1和b2，得下述公式：由上述兩式可得，相機間距不一致時同一場景物體在源圖像和目標圖像上的縮放關系為：由此，場景物體在立體圖像上的大小不僅與圖像視差有關，而且與立體相機的相機間距有關；2.2優化變形采用透視縮放項、直線約束項、視差一致項、垂直對齊項和位置固定項的權重組合來指導四邊形網格變形，其中Vl和Vr表示優化變形前的左視點圖像網格頂點和右視點圖像網格頂點，和表示優化變形后的左視點圖像網格頂點和右視點圖像網格頂點；(1)透視縮放項定義透視縮放因子為其中，和分別表示源圖像克隆區域調整后的視差和調整前的視差，bS和bT分別表示拍攝源圖像的立體相機間距和拍攝目標圖像的立體相機間距；對于源圖像克隆區域左視點圖像的任意網格邊其中，Vil和分別表示優化變形前的左視點圖像網格的第i和第j個頂點坐標，其縮放因子定義為其中，和分別表示優化變形前的左視點圖像網格的第i和第j個頂點的透視縮放因子；透視縮放項定義為其中，El和Er分別表示源圖像克隆區域左視點圖像網格邊和右視點圖像網格邊的集合；Vil和分別表示優化變形前的左視點圖像網格的第i和第j個頂點坐標，Vir和分別表示優化變形前的右視點圖像網格的第i和第j個頂點坐標；和分別表示優化變形后的左視點圖像網格的第i和第j個頂點坐標，和分別表示優化變形后的右視點圖像網格的第i和第j個頂點坐標；Sij表示網格邊的縮放因子；(2)直線約束項為源圖像左視點圖像的網格邊定義變形后與變形前的長度比為其中，Vil和分別表示優化變形前的左視點圖像網格的第i和第j個頂點坐標，和分別表示優化變形后的左視點圖像網格的第i和第j個頂點坐標；用相同的方法定義源圖像右視點圖像的長度比直線約束項定義為其中，El和Er分別表示源圖像克隆區域左視點圖像網格邊和右視點圖像網格邊的集合，Vil和分別表示優化變形前的左視點圖像網格的第i和第j個頂點坐標，Vir和分別表示優化變形前的右視點圖像網格的第i和第j個頂點坐標；和分別表示優化變形后的左視點圖像網格的第i和第j個頂點坐標，和分別表示優化變形后的右視點圖像網格的第i和第j個頂點坐標；(3)視差一致項對于每組待計算的水平坐標分量其視差應與調整后的視差保持一致，令表示調整后的視差。視差一致項定義為其中，表示左視點圖像待計算的水平坐標，表示右視點圖像待計算的水平坐標；(4)垂直對齊項對于每組待計算的垂直坐標分量應使其調整后趨近于0，從而消除垂直視差的影響，垂直對齊項定義為其中，表示左視點圖像待計算的垂直坐標，表示右視點圖像待計算的垂直坐標；(5)位置固定項為防止源圖像克隆區域的中心位置發生改變，引入位置固定項固定源圖像克隆區域左網格的中心位置，令表示初始左網格的中心位置，其中，Vl表示初始的左視點圖像網格頂點坐標，Vil表示初始的左視點圖像網格的第i個頂點坐標。位置固定項定義為其中，表示優化變形后的左視點圖像網格頂點坐標，表示優化變形后的左視點圖像網格的第i個頂點坐標；優化變形的總能量定義為上述五個能量項的權重加和：Φ＝ωsΦs+ωlΦl+ωdΦd+ωvΦv+ωdΦd其中，Φs本文檔來自技高網...

【技術保護點】
一種基于不同相機間距的立體圖像克隆方法，其特征是，首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續的網格變形，之后通過調整視差來調整立體圖像克隆區域的形狀和大小，最后將調整后的立體圖像克隆區域融合到目標圖像中。

【技術特征摘要】
1.一種基于不同相機間距的立體圖像克隆方法，其特征是，首先進行圖像預處理，之后處理用戶繪制的輪廓以便進行后續的網格變形，之后通過調整視差來調整立體圖像克隆區域的形狀和大小，最后將調整后的立體圖像克隆區域融合到目標圖像中。2.如權利要求1所述的基于不同相機間距的立體圖像克隆方法，其特征是，圖像預處理具體步驟是，計算源圖像和目標圖像的視差圖，同時為源圖像和目標圖像構建四邊形網格，構建方式如下：首先用一個均勻網格Ml＝(Vl,El,Fl)表示源圖像的左視點圖像，其中Vl表示左視點圖像的網格頂點，El表示左視點圖像的網格邊，Fl表示左視點圖像的網格四邊形，之后根據源圖像的視差圖構建源圖像右視點圖像的網格Mr＝(Vr,Er,Fr)，其中，Vr表示右視點圖像的網格頂點，Er表示右視點圖像的網格邊，Fr表示右視點圖像的網格四邊形。3.如權利要求1所述的基于不同相機間距的立體圖像克隆方法，其特征是，輪廓處理具體步驟是，結合源圖像的左視點圖像的初始均勻網格對用戶繪制的任意輪廓進行調整，使新輪廓為包含用戶繪制輪廓的最小矩形輪廓，其中矩形輪廓的四個角點均為源圖像的左視點圖像的初始均勻網格中的網格頂點，在獲得源圖像的左視點圖像的新輪廓之后，根據源圖像視差圖獲得源圖像的右視點圖像的新輪廓，輪廓包圍區域即為源圖像克隆區域。4.如權利要求1所述的基于不同相機間距的立體圖像克隆方法，其特征是，調整視差來迭代調整立體圖像克隆區域的形狀和大小即迭代優化變形，具體步驟是，1)視差調整調整方式如下：采用源圖像克隆區域的視差圖梯度場作為求解下式的引導場G0，同時迫使調整后的源圖像克隆區域邊緣的視差和目標立體圖粘貼區域邊緣的視差相同，通過求解下述加權泊松等式的最小值獲得調整后的源圖像克隆區域的視差圖其中是為源圖像克隆區域制定的權重函數，用于懲罰更為平滑的區域，DT表示目標圖像視差圖，表示源圖像克隆區域的輪廓，表示調整后的源圖像克隆區域的視差圖的梯度場；2)基于四邊形網格的優化變形2.1場景物體大小與視差的關系假定立體相機攝像頭平行設置，根據幾何關系及相似三角形定理，推導出場景物體深度z和相機間距b之間的關系為：其中，b表示立體相機間距，f表示相機焦距，z表示場景物體的深度，d＝xL-xR表示圖像視差，xL和xR表示同一場景物體在左視點圖像和右視點圖像的對應橫坐標；根據幾何關系及相似三角形定理，推導出場景物體在立體圖像平面上的大小與場景物體深度之間的關系為其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小，由此推導出場景物體在立體圖像平面上的大小x與圖像視差d之間的關系為：由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機間距b有關，而與立體相機焦距f無關；對于同一場景物體L1，其在源圖像上和目標圖像上的大小分別為x1和x2，視差分別為d1和d2，雙目立體相機間距分別為b1和b2，得下述公式：由上述兩式可得，相機間距不一致時同一場景物體在源圖像和目標圖像上的縮放關系為：由此，場景物體在立體圖像上的大小不僅與圖像視差有關，而且與立體相機的相機間距有關；2.2優化變形采用透視縮放項、直線約束項、視差一致項、垂直對齊項和位置固定項的權重組合來指導四邊形網格變形，其中Vl和Vr表示優化變形前的左視點圖像網格頂點和右視點圖像網格頂點，和表示優化變形后的左視點圖像網格頂點和右視點圖像網格頂點；(1)透視縮放項定義透視縮放因子為其中，和分別表示源圖像克隆區域調整后的視差和調整前的視差，bS和bT分別表示拍攝源圖像的立體相機間距和拍攝目標圖像的立體相機間距，Vil表示優化變形前的左視點圖像網格的第i個頂點坐標；對于源圖像克隆區域左視點圖像的任意...

【專利技術屬性】
技術研發人員：侯春萍，劉琦，閻維青，陳華，王致芃，
申請(專利權)人：天津大學，
類型：發明
國別省市：天津,12