視頻編碼器、方法和裝置及其幀間模式選擇方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種視頻編碼器、方法和裝置及其幀間模式選擇方法和裝置。其中，當前深度Depth的初始值為1，幀間模式選擇方法包括：S701若跳過對編碼單元CUDepth進行編碼的編碼開銷的計算，調(diào)用S703至S705，若不跳過，調(diào)用S702至S705；S702確定編碼單元CUDepth的當前最優(yōu)編碼模式及編碼開銷；S703劃分編碼單元CUDepth為多個子編碼單元，遞歸執(zhí)行S701至S705，直至子編碼單元的深度達到最大或滿足終止劃分條件，確定每個子編碼單元的最優(yōu)編碼模式及編碼開銷；S704比較多個子編碼單元的編碼開銷之和與編碼單元CUDepth的當前編碼開銷的大小；S705確定S704中較小者對應(yīng)的模式為最優(yōu)編碼模式。通過本發(fā)明專利技術(shù)，解決了現(xiàn)有技術(shù)中進行模式選擇的計算復(fù)雜度偏高的問題，進而達到了降低復(fù)雜度、提高編碼速度的效果。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及計算機技術(shù)與互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種視頻編碼器、方法和裝置及其幀間模式選擇方法和裝置。
技術(shù)介紹
H.264/AVC視頻編碼標準從2003年5月發(fā)布草案以來，以其相對于以往的視頻壓縮標準在壓縮效率以及網(wǎng)絡(luò)適應(yīng)性方面的明顯優(yōu)勢，迅速成為視頻應(yīng)用領(lǐng)域的主流標準。然而，隨著終端設(shè)備形式的多樣化以及人們對多媒體體驗要求的不斷提高，高清晰度、高幀率、3D、移動平臺已經(jīng)成為視頻應(yīng)用的主流趨勢，另一方面，傳輸帶寬和存儲空間一直是視頻應(yīng)用中最為關(guān)鍵的資源，如何在有限的空間和傳輸通路中獲得最佳的視頻體驗一直是用戶不懈追求的目標，現(xiàn)有的H.264/AVC編碼標準的壓縮效率仍然不能滿足這些日益增長的需求，因此，在2010年1月，ITU-T?VCEG(Video?Coding?Experts?Group)組織和ISO/IEC?MPEG(Moving?Picture?Experts?Group)組織聯(lián)合成立了JCT-VC(Joint?Collaborative?Team?on?Video?Coding)，統(tǒng)一制定下一代編碼標準HEVC(High?Efficiency?Video?Coding)，并于2013年1月正式發(fā)布了標準的最終版。HEVC沿用H.264/AVC的混合編碼框架，同時又采用了大量的新技術(shù)，使得編碼效率比現(xiàn)有的H.264/AVC提高一倍，即HEVC只用一半的碼率就可達到與H.264/AVC相同的視頻質(zhì)量，因此HEVC在高清、超高清視頻存儲，流媒體和移動互聯(lián)網(wǎng)視頻等方面都具有極高的應(yīng)用價值。HEVC標準的其中一項最重要的新技術(shù)就是采用了更加靈活的四叉樹編碼結(jié)構(gòu)，使用編碼單元(Coding?Unit，簡稱CU)，預(yù)測單元(Prediction?Unit，簡稱PU)和變換單元(Transform?unit，簡稱TU))3個概念描述整個編碼過程，以提高高清、超高清視頻的壓縮編碼效率。在HEVC中，一幀圖像被分割成許多互不重疊的編碼樹單元(Coding?Tree?Units，簡稱CTU)，CTU類似于H.264/AVC中的宏塊，CTU均為2Nx2N(N＝2C，C為大于1的整數(shù))的正方形像素塊，CTU最大允許尺寸為64x64。每個CTU都可以按照四叉樹結(jié)構(gòu)遞歸劃分為正方形的編碼單元，CU是HEVC編碼的基本單元，允許的最小尺寸為8x8，最大尺寸為CTU的尺寸，圖1是一個64x64的CTU四叉樹結(jié)構(gòu)劃分示例。記尺寸等于CTU的CU的深度(Depth)為0，若一個深度為n的CU可繼續(xù)劃分為深度等于n+1的4個子CU，每個子CU尺寸是上一深度CU的1/4。CU的預(yù)測編碼類型有幀內(nèi)(Intra)預(yù)測模式和幀間(Inter)預(yù)測模式兩種。所有CU都是幀內(nèi)預(yù)測模式的幀稱為幀內(nèi)預(yù)測幀(即，I幀)，包含幀內(nèi)預(yù)測模式和幀間預(yù)測模式的CU的幀稱為幀間預(yù)測幀(即，GPB幀或B幀)。PU是預(yù)測的基本單元，一個CU可包含一個或多個PU，PU最大尺寸是CU的尺寸，允許正方形或者長方形的分塊。對于幀間預(yù)測編碼的CU，有如圖2a至圖2h所示的8種PU劃分方式，其中，圖2a至圖2d示出了4種對稱的劃分方式，依次為2Nx2N，2NxN，Nx2N，N×N，圖2e至圖2h示出了4種非對稱的劃分方式，依次為2NxnU，2NxnD，nLx2N，nRx2N。對于幀間預(yù)測2Nx2N的PU劃分方式，若殘差系數(shù)和運動矢量差都為零，則稱該CU是以跳過模式(即，Skip模式)編碼。與H.264/AVC的跳過模式不同，HEVC的跳過模式的運動矢量獲取采用了運動融合技術(shù)(Merge)，即當前PU的運動信息(包括運動矢量、參考幀索引、參考幀列表)都可以通過相鄰PU的運動信息構(gòu)造出一個融合運動矢量候選列表，編碼時只需要傳送融合標記(Merge?Flag)以及最佳融合運動矢量對應(yīng)的索引(Merge?Index)，無需傳送其他運動信息。若當前PU的運動矢量采用運動融合技術(shù)獲取，但包含非零的殘差系數(shù)，則稱該PU是以融合(Merge)模式編碼。對于其余幀間預(yù)測的情況，HEVC采用的是自適應(yīng)運動矢量預(yù)測技術(shù)(Adaptive?Motion?Vector?Prediction，AMVP)，即通過相鄰PU的運動矢量信息構(gòu)造出一個預(yù)測運動矢量候選列表，選擇最佳的預(yù)測運動矢量，再通過運動估計選擇最佳的運動矢量，編碼時需要傳輸殘差系數(shù)和包括運動矢量差在內(nèi)的完整的運動信息。對于幀內(nèi)預(yù)測編碼的CU，只有2Nx2N，NxN兩種PU劃分方式，且NxN的劃分方式只用于對深度為允許的最大深度的CU進行。TU是變換和量化的基本單元，一個CU可包含一個或多個TU，TU同樣采用四叉樹型的遞歸劃分結(jié)構(gòu)，其大小從4x4到32x32尺寸，可比PU大，但不超過CU的大小。圖3為一個CU的TU劃分方式的示意圖。在實際編碼時，需要對每個CTU進行模式選擇，選擇最優(yōu)的CU、PU、TU劃分方式，以及預(yù)測編碼類型，通常按照率失真最優(yōu)的準則，對每種CU、PU劃分方式，需要計算最多34個預(yù)測方向下采用不同TU劃分方式的幀內(nèi)預(yù)測編碼開銷，以及在每種運動矢量預(yù)測方式下進行運動估計選擇最匹配的預(yù)測CU，再計算采用不同TU劃分方式下的幀間預(yù)測編碼開銷，最后選擇代價最小的CU、PU、TU劃分方式，以及相應(yīng)的預(yù)測編碼類型作為當前CTU的最優(yōu)編碼模式。HEVC標準采用了上述靈活CU、PU、TU劃分方式，以及更多的幀內(nèi)預(yù)測方向、幀間運動矢量預(yù)測方式，極大的提高了預(yù)測準確性，從而提高編碼效率，但是由于在模式選擇的運動估計和編碼開銷計算時涉及大量的絕對誤差和(Sum?of?Absolute?Difference，簡稱SAD)、經(jīng)Hardmard變換后的絕對誤差和(Sum?of?Absolute?Transformed?Difference，簡稱SATD)、差值的平方和(Sum?of?Squared?Error，簡稱SSE)和碼率估算等高復(fù)雜度的計算過程，HEVC這種更加靈活多樣的劃分方式和預(yù)測方式急劇增加了模式選擇過程的計算復(fù)雜度。在目前HEVC參考軟件實現(xiàn)中，模式選擇的計算耗時占整個編碼時間的90％以上，這種高復(fù)雜的模式選擇直接導致HEVC的高編碼復(fù)雜度，因此難以滿足目前日益增多的視頻實時通話(尤其是手持設(shè)備上的視頻通話)、流媒體直播等高實時性要求的視頻編碼的應(yīng)用，而對于點播視頻的片源離線視頻壓縮，也需要投入大量的服務(wù)器計算資源和編碼時間成本。又由于幀間預(yù)測幀的編碼效率要遠本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種視頻編碼的幀間模式選擇方法，其特征在于，當前深度Depth的初始值為1，所述幀間模式選擇方法包括：S701：在跳過對所述當前深度Depth的編碼單元CUDepth進行編碼所需的編碼開銷的計算的情況下，調(diào)用步驟S703至步驟S705，在不跳過對所述當前深度Depth的編碼單元CUDepth進行編碼所需的編碼開銷的計算的情況下，調(diào)用步驟S702至步驟S705；S702：在所述當前深度Depth深度下，確定所述編碼單元CUDepth的當前最優(yōu)編碼模式及編碼開銷；S703：劃分所述編碼單元CUDepth為多個深度Depth+1的子編碼單元，對每個所述子編碼單元遞歸執(zhí)行步驟S701至步驟S705，直至所述子編碼單元的深度達到預(yù)設(shè)最大深度或者滿足終止劃分條件，確定每個子編碼單元的最優(yōu)編碼模式及編碼開銷；S704：比較多個所述子編碼單元的編碼開銷之和與所述編碼單元CUDepth的當前編碼開銷的大小；以及S705：若所述編碼單元CUDepth的當前編碼開銷大于多個所述子編碼單元的編碼開銷之和，則確定所述編碼單元CUDepth的最優(yōu)編碼模式為劃分多個所述子編碼單元下的最優(yōu)編碼模式，否則確定所述編碼單元CUDepth的最優(yōu)編碼模式為未劃分多個所述子編碼單元下的最優(yōu)編碼模式。...

【技術(shù)特征摘要】
1.一種視頻編碼的幀間模式選擇方法，其特征在于，當前深度Depth的
初始值為1，所述幀間模式選擇方法包括：
S701：在跳過對所述當前深度Depth的編碼單元CUDepth進行編碼所
需的編碼開銷的計算的情況下，調(diào)用步驟S703至步驟S705，在不跳
過對所述當前深度Depth的編碼單元CUDepth進行編碼所需的編碼開銷的
計算的情況下，調(diào)用步驟S702至步驟S705；
S702：在所述當前深度Depth深度下，確定所述編碼單元CUDepth的
當前最優(yōu)編碼模式及編碼開銷；
S703：劃分所述編碼單元CUDepth為多個深度Depth+1的子編碼單
元，對每個所述子編碼單元遞歸執(zhí)行步驟S701至步驟S705，直至所
述子編碼單元的深度達到預(yù)設(shè)最大深度或者滿足終止劃分條件，確定
每個子編碼單元的最優(yōu)編碼模式及編碼開銷；
S704：比較多個所述子編碼單元的編碼開銷之和與所述編碼單
元CUDepth的當前編碼開銷的大小；以及
S705：若所述編碼單元CUDepth的當前編碼開銷大于多個所述子
編碼單元的編碼開銷之和，則確定所述編碼單元CUDepth的最優(yōu)編碼
模式為劃分多個所述子編碼單元下的最優(yōu)編碼模式，否則確定所
述編碼單元CUDepth的最優(yōu)編碼模式為未劃分多個所述子編碼單元
下的最優(yōu)編碼模式。
2.根據(jù)權(quán)利要求1所述的幀間模式選擇方法，其特征在于，所述幀間模
式選擇方法還包括通過以下方式判斷是否跳過對所述當前深度Depth
的編碼單元CUDepth進行編碼所需的編碼開銷的計算：
獲取在所述編碼單元CUDepth之前進行編碼并與所述編碼單元
CUDepth時域和/或空域相鄰的編碼單元CU′、以及所述編碼單元CU′的深
度；以及
判斷所述編碼單元CU′中是否存在Nc個第一編碼單元，其中，
Nc為第一預(yù)設(shè)參數(shù)，所述第一編碼單元的深度大于所述當前深度
Depth，
其中，在判斷出所述編碼單元CU′中存在Nc個所述第一編碼單
元的情況下，確定跳過對所述編碼單元CUDepth進行編碼所需的編碼
開銷的計算。
3.根據(jù)權(quán)利要求2所述的幀間模式選擇方法，其特征在于，判斷所述編
碼單元CU′中是否存在Nc個第一編碼單元包括：
判斷C≥Nc是否成立，其中，Depthi為所述編碼單元CU′中的編碼單
元CUi′的深度，
其中，在判斷出C≥Nc成立的情況下，確定所述編碼單元CU′中存
在Nc個所述第一編碼單元。
4.根據(jù)權(quán)利要求1所述的幀間模式選擇方法，其特征在于，所述幀間模
式選擇方法還包括通過以下方式確定目標編碼單元的最優(yōu)編碼模式，
其中，所述目標編碼單元為所述編碼單元CUDepth或所述子編碼單元：
判斷是否跳過按照當前模式對所述目標編碼單元進行編碼所需的
編碼開銷的計算；
在判斷出跳過按照所述當前模式對所述目標編碼單元進行編碼所
需的編碼開銷的計算的情況下，跳過按照所述當前模式對所述目標編
碼單元進行編碼所需的編碼開銷的計算，并從第一編碼開銷中選擇最
小編碼開銷，其中，所述第一編碼開銷為計算出的按照在先模式對所
述目標編碼單元進行編碼所需的編碼開銷，所述在先模式為所述當前
模式之前的模式；
判斷采用所述最小編碼開銷對應(yīng)的模式對所述目標編碼單元進行
編碼的目標參數(shù)是否滿足預(yù)設(shè)條件，其中，所述預(yù)設(shè)條件表示將所述
目標編碼單元的編碼模式預(yù)判為跳過模式；以及
在判斷出所述目標參數(shù)滿足所述預(yù)設(shè)條件的情況下，確定所述目
標編碼單元的最優(yōu)編碼模式為所述最小編碼開銷對應(yīng)的模式。
5.一種視頻編碼方法，其特征在于，包括：
接收待編碼的視頻源數(shù)據(jù)；
確定所述視頻源數(shù)據(jù)中每一幀的編碼幀類型，得到幀間預(yù)測幀和
幀內(nèi)預(yù)測幀；
確定所述幀內(nèi)預(yù)測幀的編碼模式，并采用預(yù)設(shè)方法確定所述幀間
預(yù)測幀的編碼模式，其中，所述預(yù)設(shè)方法為權(quán)利要求1至4中任一項
所述的幀間模式選擇方法；以及
采用第一模式編碼所述幀內(nèi)預(yù)測幀，并采用第二模式編碼所述幀
間預(yù)測幀，其中，所述第一模式為確定出的所述幀內(nèi)預(yù)測幀的編碼模
式，所述第二模式為采用所述預(yù)設(shè)方法確定出的所述幀間預(yù)測幀的編
碼模式。
6.一種視頻編碼的幀間模式選擇裝置，其特征在于，當前深度Depth的
初始值為1，所述幀間模式選擇裝置包括：
調(diào)用單...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：谷沉沉，
申請(專利權(quán))人：騰訊科技北京有限公司，
類型：發(fā)明
國別省市：北京;11