基于紋理傳輸的多風格視頻藝術化處理方法技術

基于紋理傳輸的多風格視頻藝術化處理方法，包含如下步驟：步驟1：基于方向場的多風格紋理合成，采用基于方向場的紋理合成方法，根據視頻相關信息合成出一個紋理層，使合成的紋理層不僅有樣本紋理的質地特征，還能動態體現視頻中各種場景物體的物體輪廓、走向等信息；步驟2：紋理層傳輸與修補，把步驟一中合成的紋理層隨光流場進行傳輸。為了應對傳輸過程中產生的紋理走樣問題，需要對紋理層執行有限修補；步驟3：基于GPU的快速視頻抽象，利用GPU加速的彩色圖像形態學操作；步驟4：視頻紋理層的融合。本發明專利技術的視頻藝術化算法分為三大部分，分別是紋理層的合成傳輸與修補、視頻抽象操作以及最后的視頻紋理層融合，最終得到多風格視頻藝術化結果。

【技術實現步驟摘要】
【專利說明】 所屬
本專利技術涉及一種計算機圖像處理技術。 現有技術 視頻藝術化處理是計算機非真實感繪制的一個重要研究分支，它采用藝術的非真 實感繪制方法呈現動態視頻場景，把用戶給定的一段視頻轉化為帶有不同藝術風格的視 頻，使之表現出與原視頻不同的情感特征，在電影、動漫制作和視頻娛樂等方面有著廣泛的 應用。 現有的基于光流的視頻藝術化方法利用光流信息來指導標記（筆刷）或者紋理進 行傳輸來生成相應藝術風格的視頻。在基于標記的方法中，利用彎曲標記來模擬畫家畫筆 的粗細、走向等屬性，可以實現多種風格渲染。但其缺點是標記的屬性過多且不易維護，實 現起來比較困難，部分算法還需要人工輔助，增加了操作的難度。現有的基于紋理的視頻藝 術化方法包含基于紋理層傳輸的方法和直接合成視頻幀兩類方法。基于紋理層傳輸的方法 通過傳輸與視頻分辨率等大的整塊紋理層來模擬水彩畫風格，由于其使用的各向同性的單 一紋理所能表達風格種類有限，使得該方法生成的視頻藝術化風格單一，無法擴展生成多 類不同的視頻風格。直接合成視頻幀的方法基于單幀紋理合成的思想實現了自定義的多風 格處理，但該方法并沒有使用一個紋理層進行傳輸，直接在視頻幀上合成、分塊傳輸，容易 破壞原有視頻場景的圖像特征，因此該方法需要采用一系列復雜的修補方法；同時為了保 證時域連續性，該方法要對光流場進行優化，并計算相鄰塊之間的相關性，進一步提高了該 方法的計算復雜度。且上述基于紋理的視頻藝術化方法都沒有考慮帶有變化方向場的紋理 生成，從而降低了其對一些特定藝術風格的模擬效果，如筆刷走向較明顯的油畫風格。 基于分割的方法采用類似于圖像分割算法的方法實現視頻風格化處理，不同的是 基于分割的視頻藝術化算法不僅要使各個區域能夠精確分割，還要保證分割后區域的幀間 連續性。目前基于分割的算法渲染樣式比較單一，大多數只是模擬卡通風格，雖然有些算法 結合了基于標記的方法實現了多風格渲染，但實現起來比較復雜。
技術實現思路
本專利技術要克服現有技術的上述缺點，提供一種視頻藝術化合成質量更高、較高的 視頻時域連續性、速度快、易于實現的。 本專利技術采用紋理傳輸的方法，通過用戶輸入源視頻以及不同藝術風格的樣本紋理 渲染出帶有相應藝術風格的風格化視頻。同時結合基于方向場的紋理合成及修補方法實現 方向感明顯的藝術風格（如油畫等）的模擬。 本專利技術的視頻藝術化算法分為三大部分，分別是紋理層的合成傳輸與修補、視頻 抽象操作以及最后的視頻紋理層融合，最終得到多風格視頻藝術化結果。 方法中，先由用戶選擇帶有某種風格筆刷的樣本紋理作為期望學習的風格，該樣 本紋理和源視頻一起成為本專利技術的多風格視頻藝術化系統的輸入。對于視頻的第一幀，采 用基于當前幀方向場合成得到一個與視頻分辨率相同的各向異性紋理傳輸層；接下來，讓 這個紋理層隨著光流場信息進行傳輸，與此同時，對傳輸過程中出現的紋理拉伸走樣部分 進行有限的高效紋理修補。視頻藝術化的另一部分即視頻抽象，通過抽象去掉視頻中的不 必要細節和立體信息。最后經過紋理傳輸層和抽象后視頻的融合，輸出藝術化后的結果視 頻。 ，包含如下四個步驟： 步驟1 :基于方向場的多風格紋理合成，采用基于方向場的紋理合成方法，根據視 頻相關信息合成出一個紋理層，使合成的紋理層不僅有樣本紋理的質地特征，還能動態體 現視頻中各種場景物體的物體輪廓、走向等信息。 I. 1生成邊緣切向場（ETF)數據，并保存成圖片格式。 1. 2基于塊的紋理合成生成一個與視頻分辨率大小相同的紋理層，其合成過程如 下： 1. 2. 1初始化系統參數，設定合成窗口及鄰域大小，根據視頻幀生成對應的方向 場。 1. 2. 2根據合成窗口大小，按照從左到右，由上到下的順序掃面對應幀的方向場， 通過計算合待成窗口內像素點的平均方向場方向來決定此待合成窗口的最終方向。 1. 2. 3在求得待合成窗口的方向后，在候選紋理集內選擇對應方向的樣本紋理，按 照基于塊的紋理合成方法合成完整紋理傳輸層。 步驟2 :紋理層傳輸與修補，把步驟一中合成的紋理層隨光流場進行傳輸。為了應 對傳輸過程中產生的紋理走樣問題，需要對紋理層執行有限修補。 2. 1基于光流場的紋理層傳輸： 2. I. 1提取視頻光流場，保存在圖片中。 2. 1. 2根據提取到的光流場對步驟一中合成的紋理層進行傳輸，傳輸公式如（1)。 P (U (X, t)) = P0 (U (X, t)) +V (X, t) (1) X = (X, y)表示t幀紋理坐標，U = (X, t)表示t幀屏幕坐標，P。(U(X, t))表示t 幀待傳輸紋理中點X = (X，y)的像素值，t時刻視頻幀的X點的運動向量則表示為V(X, t) =Xt i-Xt，我們可以在光流場中提取到所需要的所有像素點的運動向量。這樣，在當前幀的 紋理層P完成紋理坐標到屏幕坐標的映射后，會在下一幀的紋理傳輸過程中成為匕，以此重 復，直至完成全部幀的傳輸。 2. 2紋理層的修補： 2. 2. 1定位發生紋理走樣的像素點：由于紋理傳輸時，只是對紋理坐標的傳遞映 射，而紋理拉伸走樣問題就是因為在像素點的運動軌跡上出現了過多重復的像素而導致 的。因此，我們只需要在每個像素點紋理坐標的3X3鄰域內查找是否含有重復坐標值，若 有重復值，即可判斷為此像素點發生走樣，反之則無。 2. 2. 2紋理合成的鄰域選取：把紋理合成用于紋理傳輸時的紋理修補，并不能簡 單的選取一個L型或是I型鄰域。為了使修補后的紋理與原始紋理層中未變形部分能夠良 好銜接），我們的鄰域選擇會根據紋理發生走樣時的拉伸方向的不同而有所區別，我們把紋 理拉伸方向量化為水平和垂直方向上的4個方向，對應的鄰域形狀有「、-|和L型。 2. 2. 3局部紋理合成順序的確定：因為選擇的鄰域形狀的不同，所以在最終的局 部合成時的順序也不盡相同。對于具體的局部合成順序，以鄰域形狀為-I為例說明，在全 局掃描順序下，掃描到變形區域1時，系統會檢測此時的變形方向，在確定變形方向向左 時，系統會把當前的待修補塊1放入堆棧里，然后按照變形方向反向繼續掃描，直至掃描到 圖像邊緣或者未變形塊時停止（塊2、3)。此時，開始從堆棧中取出待合成塊，由于堆棧的特 性為先進后出，所以從最后一個進入堆棧的塊開始，按照右上L型鄰域開始合成。 步驟3 :基于GPU的快速視頻抽象，利用GPU加速的彩色圖像形態學操作。 在灰度圖的形態學操作中，膨脹操作（Dilation)可去掉圖中較暗的部分，使較高 亮度的部分得到傳播。腐蝕操作（Erosion)剛好相反，會使圖中較暗部分得到傳播。 讓I代表一幅圖像，B表示一個形態學操作的結構元，它包含了當前像素點的鄰域 坐標，X表示圖像中的一個像素點。那么，形態學膨脹操作β和腐蝕操作ε就可定義為： 形態學開操作（Opening)是腐蝕操作和膨脹操作的順序組合；而形態學閉操作 (Closing)是膨脹操作和腐蝕操作的順序組合。我們通過交替使用形態學開閉操作，使視頻 得到抽象。 為了把基于圖像的形態學操作算法應用到視頻抽象中，本專利技術也在時間和空間上 擴展了形態學操作，其結構元的選取不再是2維空間中的矩陣，而是時空3維空間上的3D 結構元。 在確定結構元的選取后，利用GPU的并行計算框本文檔來自技高網...

【技術保護點】
基于紋理傳輸的多風格視頻藝術化處理方法，包含如下步驟：步驟1：基于方向場的多風格紋理合成，采用基于方向場的紋理合成方法，根據視頻相關信息合成出一個紋理層，使合成的紋理層不僅有樣本紋理的質地特征，還能動態體現視頻中各種場景物體的物體輪廓、走向等信息；1.1生成邊緣切向場(ETF)數據，并保存成圖片格式；1.2基于塊的紋理合成生成一個與視頻分辨率大小相同的紋理層，其合成過程如下：1.2.1初始化系統參數，設定合成窗口及鄰域大小，根據視頻幀生成對應的方向場；1.2.2根據合成窗口大小，按照從左到右，由上到下的順序掃面對應幀的方向場，通過計算合待成窗口內像素點的平均方向場方向來決定此待合成窗口的最終方向；1.2.3在求得待合成窗口的方向后，在候選紋理集內選擇對應方向的樣本紋理，按照基于塊的紋理合成方法合成完整紋理傳輸層；步驟2：紋理層傳輸與修補，把步驟一中合成的紋理層隨光流場進行傳輸；為了應對傳輸過程中產生的紋理走樣問題，需要對紋理層執行有限修補；2.1基于光流場的紋理層傳輸：2.1.1提取視頻光流場，保存在圖片中；2.1.2根據提取到的光流場對步驟一中合成的紋理層進行傳輸，傳輸公式如(1)；P(U(X，t))＝P0(U(X，t))+V(X，t)???(1)X＝(x，y)表示t幀紋理坐標，U＝(X，t)表示t幀屏幕坐標,P0(U(X，t))表示t幀待傳輸紋理中點X＝(x，y)的像素值，t時刻視頻幀的X點的運動向量則表示為V(X，t)＝Xt?1?Xt,在光流場中提取到所需要的所有像素點的運動向量；這樣，在當前幀的紋理層P完成紋理坐標到屏幕坐標的映射后，會在下一幀的紋理傳輸過程中成為P0，以此重復，直至完成全部幀的傳輸；2.2紋理層的修補：2.2.1定位發生紋理走樣的像素點：由于紋理傳輸時，只是對紋理坐標的傳遞映射，而紋理拉伸走樣問題就是因為在像素點的運動軌跡上出現了過多重復的像素而導致的；因此，只需要在每個像素點紋理坐標的3×3鄰域內查找是否含有重復坐標值，若有重復值，即可判斷為此像素點發生走樣，反之則無；2.2.2紋理合成的鄰域選取：把紋理合成用于紋理傳輸時的紋理修補，并不能簡單的選取一個L型或是I型鄰域；為了使修補后的紋理與原始紋理層中未變形部分能夠良好銜接)，鄰域選擇會根據紋理發生走樣時的拉伸方向的不同而有所區別，把紋理拉伸方向量化為水平和垂直方向上的4個方向，對應的鄰域形狀有和L型；2.2.3局部紋理合成順序的確定：因為選擇的鄰域形狀的不同，所以在最終的局部合成時的順序也不盡相同；對于具體的局部合成順序，當鄰域形狀為┐，在全局掃描順序下，掃描到變形區域1時，系統會檢測此時的變形方向，在確定變形方向向左時，系統會把當前的待修補塊1放入堆棧里，然后按照變形方向反向繼續掃描，直至掃描到圖像邊緣或者未變形塊時停止(塊2、3)；此時，開始從堆棧中取出待合成塊，由于堆棧的特性為先進后出，所以從最后一個進入堆棧的塊開始，按照右上L型鄰域開始合成；步驟3：基于GPU的快速視頻抽象，利用GPU加速的彩色圖像形態學操作；在灰度圖的形態學操作中，膨脹操作(Dilation)去掉圖中較暗的部分，使較高亮度的部分得到傳播；腐蝕操作(Erosion)剛好相反，使圖中較暗部分得到傳播；讓I代表一幅圖像，B表示一個形態學操作的結構元，它包含了當前像素點的鄰域坐標，X表示圖像中的一個像素點；那么，形態學膨脹操作β和腐蝕操作ε就可定義為：βB(I)(X)=maxb∈B{I(X-b)}ϵB(I)(X)=minb∈B{I(X+b)}---(2)]]>形態學開操作(Opening)是腐蝕操作和膨脹操作的順序組合；而形態學閉操作(Closing)是膨脹操作和腐蝕操作的順序組合；通過交替使用形態學開閉操作，使視頻得到抽象；為了把基于圖像的形態學操作算法應用到視頻抽象中，也在時間和空間上擴展了形態學操作，其結構元的選取不再是2維空間中的矩陣，而是時空3維空間上的3D結構元；在確定結構元的選取后，利用GPU的并行計算框架CUDA實現對視頻的連續抽象；根據視頻的大小(假設視頻共有200幀，分辨率為640×480)，選擇創建大小為(640,480,200)的grid，即一共有640×480×200個block，也就是說每幀里面的每一個像素都會分配一個Block，而在每個具體的block里面，又創建了9個thread，這9個thread對當前像素隨著光流場向前先后共同選取一個3D結構元，使每個thread對應一個視頻幀中鄰域；然后眾多的thread獨立進行形態學開閉操作，實現形態學操作的并行加速；步驟4：視頻紋理層的融合；為了完成紋理層的融合，我們把目標視頻的每一幀和紋理層由RGB顏色空間轉換到YIQ空間，然后逐一對目標視頻幀的Y...

【技術特征摘要】

【專利技術屬性】
技術研發人員：湯穎，張巖，林琦峰，
申請(專利權)人：浙江工業大學，
類型：發明
國別省市：浙江;33