重要度驅動的紋理壓縮方法技術

重要度驅動的紋理壓縮方法，由兩個部分組成：紋理圖像壓縮和解壓。在壓縮過程中，對于輸入的紋理首先計算其控制圖和重要度信息圖，然后使用重要度驅動紋理壓縮算法對原紋理進行壓縮得到相應的壓縮后紋理和控制圖；在解壓階段，類似于圖像類比，將壓縮后的控制圖和壓縮后紋理以及原控制圖分別作為輸入，經圖像類比得到解壓后的紋理輸出圖。具體包括：控制圖計算、重要度圖計算、重要度驅動的紋理壓縮、基于圖像類比的解壓。

【技術實現步驟摘要】

本專利技術屬于信息

技術介紹
現如今大規模的基于網絡環境的場景繪制(如谷歌地球，街景技術等)都需要大量具有真實感的紋理圖像。在實現上存在兩個挑戰:(1)互聯網上的傳輸帶寬限制；(2)客戶端存儲這些需要繪制的紋理的存儲空間的限制。需要有相應的技術來減少帶寬和存儲空間。傳統的紋理壓縮算法通常采用矢量量化等圖像編碼技術對紋理進行壓縮，壓縮率有限且沒有使用GPU進行加速解壓繪制。最新的紋理壓縮技術利用紋理合成的思路對紋理圖像進行壓縮，通過提取紋理內重復使用的紋元圖案對紋理圖像壓縮。該技術不但可以壓縮圖像的局部冗余信息，還可以壓縮全局重復信息，且利于使用GPU解壓繪制。逆向紋理合成算法基于紋理合成的思想，通過能量函數的優化將大幅輸入紋理壓縮成小塊紋理摘要圖像。逆向紋理合成存在的一個重要問題是在壓縮的過程中同等對待所有區域。對于某些紋理來說并不是所有區域都是視覺一致性的，可分為前景部分和背景部分。從視覺顯著性模型可知，紋理中的前景部分往往是人眼所關注的部分，在壓縮時需盡可能保留。因此需要在壓縮時對紋理的不同部分進行自適應壓縮。最后，控制圖在逆向合成框架中起著關鍵的作用，只有基于適當的控制圖逆向合成才能重構原來紋理。網絡環境下，紋理在客戶端解壓需要合適的控制圖。逆向合成并沒有針對控制圖的生成提出較通用的解決方法，限制了逆向合成在紋理壓縮領域的應用范圍。針對逆向合成中存在的上述問題，目前還沒有研究人員面向實時解壓繪制提出自適應的快速紋理壓縮算法。本專利技術對逆向合成的能量函數進行修改，使它適合于自適應的紋理壓縮，即對紋理的重要區域和非重要區域進行不同程度的壓縮。在計算階段首先依據視覺顯著性模型計算出紋理的重要度圖，然后將重要度圖，紋理及其控制圖作為輸入，對新的能量函數進行迭代優化。針對逆向合成的控制圖問題，我們提出選取反映圖像像素亮度變化的灰度圖作為控制圖。
技術實現思路
本專利技術要克服現有技術的上述缺點，提供一種對紋理進行壓縮、有效減少大尺度紋理圖像所占用的紋理內存、實現其在網絡上的快速傳輸和GPU上的實時繪制、基于重要度驅動的自適應紋理壓縮方法，使得紋理圖像解壓之后重要區域的圖像質量保持較好。本專利技術所述的，由兩個部分組成:紋理圖像壓縮和解壓。在壓縮過程中，對于輸入的紋理首先計算其控制圖和重要度信息圖，然后使用重要度驅動紋理壓縮算法對原紋理進行壓縮得到相應的壓縮后紋理和控制圖；在解壓階段，類似于圖像類比，將壓縮后的控制圖和壓縮后紋理以及原控制圖分別作為輸入，經圖像類比得到解壓后的紋理輸出圖；具體步驟如下:步驟一、控制圖計算本專利技術的所有控制圖都為原圖的灰度圖，灰度圖很好地保存了原圖的亮度細節；采用YIQ計算模型將原圖(彩色圖)轉換為灰度圖，該模型中Y代表亮度，即所需要的灰度信息，I代表色調，Q代表飽和度。根據相應的模型轉化矩陣，將RGB轉化成Y的計算公式如公式(I):Y=0.299R+0.587G+0.114B(I)其中R，G，B分別為紅綠藍三色。步驟二、重要度圖計算紋理的重要度信息直接影響了算法的最終結果。為了得到更好的重要度信息，我們首先計算圖像的顯著性圖，該顯著性圖與原圖分辨率一致。基于Saliency Filters算法計算顯著性圖:首先對圖像進行抽象化，即保留圖像相關的結構特征，去除圖像一些不需要的細節特征；然后計算出圖像中具有唯一性的元素和顏色等底層信息的分布；最后綜合這兩者信息來得到顯著性圖saliency。假設輸入圖像為X，本專利技術采用公式(2)計算重要度圖中每個像素的重要度值w(x, y):權利要求1.，由兩個部分組成:紋理圖像壓縮和解壓。在壓縮過程中，對于輸入的紋理首先計算其控制圖和重要度信息圖，然后使用重要度驅動紋理壓縮算法對原紋理進行壓縮得到相應的壓縮后紋理和控制圖；在解壓階段，類似于圖像類比，將壓縮后的控制圖和壓縮后紋理以及原控制圖分別作為輸入，經圖像類比得到解壓后的紋理輸出圖；具體步驟如下: 步驟一、控制圖計算 本專利技術的所有控制圖都為原圖的灰度圖，灰度圖很好地保存了原圖的亮度細節；采用YIQ計算模型將原圖(彩色圖)轉換為灰度圖，該模型中Y代表亮度，即所需要的灰度信息，I代表色調，Q代表飽和度。根據相應的模型轉化矩陣，將RGB轉化成Y的計算公式如公式Cl):Y=0.299R+0.587G+0.114B (I) 其中R，G，B分別為紅綠藍三色。步驟二、重要度圖計算 紋理的重要度信息直接影響了算法的最終結果。為了得到更好的重要度信息，我們首先計算圖像的顯著性圖，該顯著性圖與原圖分辨率一致。基于Saliency Filters算法計算顯著性圖:首先對圖像進行抽象化，即保留圖像相關的結構特征，去除圖像一些不需要的細節特征；然后計算出圖像中具有唯一性的元素和顏色等底層信息的分布；最后綜合這兩者信息來得到顯著性圖saliency。假設輸入圖像為X，本專利技術采用公式(2)計算重要度圖中每個像素的重要度值w(x，y):全文摘要，由兩個部分組成紋理圖像壓縮和解壓。在壓縮過程中，對于輸入的紋理首先計算其控制圖和重要度信息圖，然后使用重要度驅動紋理壓縮算法對原紋理進行壓縮得到相應的壓縮后紋理和控制圖；在解壓階段，類似于圖像類比，將壓縮后的控制圖和壓縮后紋理以及原控制圖分別作為輸入，經圖像類比得到解壓后的紋理輸出圖。具體包括控制圖計算、重要度圖計算、重要度驅動的紋理壓縮、基于圖像類比的解壓。文檔編號G06T9/00GK103198495SQ20131007687公開日2013年7月10日 申請日期2013年3月11日 優先權日2013年3月11日專利技術者湯穎, 周展, 范菁 申請人:浙江工業大學本文檔來自技高網...

【技術保護點】
重要度驅動的紋理壓縮方法，由兩個部分組成：紋理圖像壓縮和解壓。在壓縮過程中，對于輸入的紋理首先計算其控制圖和重要度信息圖，然后使用重要度驅動紋理壓縮算法對原紋理進行壓縮得到相應的壓縮后紋理和控制圖；在解壓階段，類似于圖像類比，將壓縮后的控制圖和壓縮后紋理以及原控制圖分別作為輸入，經圖像類比得到解壓后的紋理輸出圖；具體步驟如下：步驟一、控制圖計算本專利技術的所有控制圖都為原圖的灰度圖，灰度圖很好地保存了原圖的亮度細節；采用YIQ計算模型將原圖（彩色圖）轉換為灰度圖，該模型中Y代表亮度，即所需要的灰度信息，I代表色調，Q代表飽和度。根據相應的模型轉化矩陣，將RGB轉化成Y的計算公式如公式（1）：Y=0.299R+0.587G+0.114B????(1)其中R,G,B分別為紅綠藍三色。步驟二、重要度圖計算紋理的重要度信息直接影響了算法的最終結果。為了得到更好的重要度信息，我們首先計算圖像的顯著性圖，該顯著性圖與原圖分辨率一致。基于Saliency?Filters算法計算顯著性圖：首先對圖像進行抽象化，即保留圖像相關的結構特征，去除圖像一些不需要的細節特征；然后計算出圖像中具有唯一性的元素和顏色等底層信息的分布；最后綜合這兩者信息來得到顯著性圖saliency。假設輸入圖像為X，本專利技術采用公式（2）計算重要度圖中每個像素的重要度值w(x,y)：w(x,y)=k·saliency(x,y)+|∂∂xI(x,y)|+|∂∂yI(x,y)|)---(2)(修改說明：把原公式（2）改為上述公式（2）)其中saliency(x,y)為像素(x,y)處的顯著性值，k是顯著性信息的權重，通常k=1能取得理想的效果；I(x,y)為圖像像素(x,y)處的亮度，方程后兩項和為像素(x,y)處梯度值x方向分量和y方向分量的絕對值。進一步，我們對公式（2）計算出的重要度值進行歸一化，使得重要度圖中每個像素的值的范圍在[0,1]之間。w(x,y)的值越大，其對應的像素的重要度越高。步驟三、重要度驅動的紋理壓縮在得到重要度圖和控制圖之后，對原圖和控制圖進行壓縮；本方法中紋理壓縮被定義成能量函數優化問題，該能量函數計算原圖所有的像素鄰域與壓縮后圖像的像素鄰域的雙向相似性；對于輸入圖X（它可以是原圖或控制圖），它與壓縮目標圖Z之間考慮了重要度信息的能量函數如公式(4)所示.其中z/x為Z/X的樣本值,q/p分別為Z/X的子集Z+/X+中的像素點位置，xp/zq表示p/q點為中心的空間鄰域，zp/xq是Z/X中與xp/zq最相似的鄰域,α是用戶可調的權重值，當α=0.01時適合于絕大多數紋理；為p點鄰域xp的重要度權重，計算圖像一個區域的重要度方法有很多，如取鄰域內所有像素權重的最小/大值、中值或均值等，我們取像素權重均值作為鄰域xp的重要度;用同樣方法計算區域xq的重要度；|·|2計算兩個鄰域之間的距離，通過對鄰域內對應像素顏色差的平方求和來計算兩個鄰域之 間的距離。公式(3)的能量函數由兩項相加組成，這兩項形式相似，但是計算功能不同；第一項稱為inverse項，確保了輸入圖像X中的每一個鄰域xp在Z中能找到與之相似的zp;第二項稱為forward項，它保證了Z中沒有一個新的zq不與X中的任何xq相似；基于公式（3），下面推導出計算目標紋理Z中每一個像素q處顏色值的方法。對于目標紋理中的每一個像素q∈Z，它對整體能量值的貢獻也包含對于forward和inverse兩項的計算，具體貢獻值可由如下步驟得到：(1)像素q對forward項的貢獻表示在目標圖Z中所有含有像素q的鄰域（其中q1,...,qm為鄰域的中心點，注意這里q1,...,qm需經過相應的偏移才能得到q），m值為鄰域的個數，它與我們選擇的鄰域大小相關，當鄰域大小為5x5時，m=25（本專利技術中,高斯金子塔的每一層有2組不同大小的鄰域，分別為17x17,9x9）。鄰域在X中的最近鄰為表示中與中的q相對應的像素位置(如圖2所示)。這樣，q對forward?term的貢獻值為（其中w(·)為像素的重要度值，IX(),IZ()分別給出輸入圖X和目標圖Z的像素顏色值，下同）；(2)像素q對inverse項的貢獻為X中的鄰域并且這些鄰域在Z中的最近鄰域為包含q的鄰域，其中n為鄰域的個數，不同于上面的m值，n值的大小不是固定，隨著q的不同而不同。像素p1,...,pn為鄰域的中心點，它們同樣經過相應的偏移得到像素點這些像素點與Z中像...

【技術特征摘要】

【專利技術屬性】
技術研發人員：湯穎，周展，范菁，
申請(專利權)人：浙江工業大學，
類型：發明
國別省市：