用于對幀序列進行視頻編碼的方法和編碼器技術

提供了用于對幀序列進行視頻編碼的方法和編碼器。該方法包括：接收(S02)描繪移動對象的幀序列，預測(S04)在第一時間點和第二時間點之間移動對象在幀序列中的移動；基于預測的移動對象的移動，定義(S06)幀中的感興趣區域，該感興趣區域在所預測的移動對象在第一時間點和第二時間點之間的全部移動期間覆蓋移動對象；以及使用用于定義在感興趣區域的哪個部分中使用哪個編碼質量的公共編碼質量模式，來對感興趣區域中的與第一時間點相對應的第一幀以及感興趣區域的至少一子集中的與居于第一和第二時間點之間的時間點相對應的一個或多個中間幀進行編碼(S08)。

【技術實現步驟摘要】
用于對幀序列進行視頻編碼的方法和編碼器
本專利技術涉及視頻編碼的領域。具體地，其涉及用于對幀序列進行編碼的方法和編碼器。
技術介紹
諸如在H.264或更一般地說H.26x標準之下的視頻編碼之類的已知視頻編碼方法允許在視頻幀的區域中的局部的壓縮級別的修改。例如，能夠通過調整用于表示對象的感興趣區域(ROI)的壓縮級別來改善圖像品質。這也可以應用于其中存在移動對象的視頻序列。這是US8150173B2的主題，其例如教導了，對于具有移動對象的視頻序列，可以為每個幀定義一個ROI。替換地，可以指定ROI的起始位置和尺寸，并且指定的ROI然后可以跟蹤在視頻序列中對象的運動。為了減少感興趣的對象上或其周圍的壓縮偽影，ROI通常不僅僅包括感興趣的對象，而且也包括背景的一部分。當對象移動時，背景的該部分在每個幀中不同。結果，當在對象以橫蕩的方式移動的情況下對象不時地若干次經過時，對背景的特定部分進行編碼所使用的壓縮級別發生變化。這將顯著地增加編碼視頻序列所需要的比特率，這是因為需要利用不同的壓縮級別將背景的特定部分重新編碼多次。因此，存在改善的需要。
技術實現思路
鑒于以上所述，因而本專利技術的目的是克服或至少減輕以上討論的問題。具體地，目的是提供編碼方法和編碼器，其減少在對象經過時將背景重新編碼若干次的需要。根據本專利技術的第一方面，通過對幀序列進行視頻編碼的方法來實現以上目的，該方法包括：接收描繪移動對象的幀序列，序列包括與第一時間點相對應的第一幀、與之后的第二時間點相對應的第二幀以及與居于第一和第二時間點之間的一個或多個時間點相對應的一個或多個中間幀；預測在第一時間點和第二時間點之間移動對象在幀序列中的移動；基于預測的移動對象的移動，定義幀中的感興趣區域，該感興趣區域在所預測的移動對象在第一時間點和第二時間點之間的全部移動期間覆蓋移動對象；以及使用用于定義在感興趣區域的哪個部分中使用哪個編碼質量的公共編碼質量模式，來對感興趣區域中的第一幀以及感興趣區域的至少一子集中的一個或多個中間幀進行編碼，其中對于特定中間幀，感興趣區域的子集在所預測的對象在與特定中間圖像幀相對應的時間點和第二時間點之間的全部移動期間覆蓋對象。利用以上方法，對象的移動被預測，并且用于定義當對第一幀以及一個或多個中間幀中的每一個進行編碼時所使用的單個ROI。與現有技術相反，ROI因此在各幀之間不變化。ROI被定義為在所預測的移動對象在第一時間點和第二時間點之間的全部移動期間覆蓋移動對象。換句話說，預計定義的ROI覆蓋第一幀以及一個或多個中間幀中的對象。因此預計在第一幀中以及在一個或多個中間幀中在ROI內發現移動對象和在移動對象附近的背景像素。當對第一幀以及一個或多個中間幀進行編碼時，相對于ROI、或至少相對于其子集使用公共(即，相同的)編碼質量模式。這意味著，對于落入ROI內的背景的特定部分，將一直使用相同的編碼質量，或在對象經過時最多將其改變一次，由此減少對重新編碼的需要。例如，如果對于第一幀以及對于一個或多個中間幀中的每一個相對于整體ROI使用公共編碼質量模式，則不需要進行ROI的背景部分的重新編碼。根據其它示例，當對一個或多個中間幀進行編碼時，向ROI的子集應用公共編碼質量模式。對于特定中間幀，在這樣的情形中，子集可以在所預測的對象在直到第二時間點的剩余移動期間覆蓋對象，即，預計子集覆蓋直到第二時間點、在特定中間幀以及每個隨后中間幀中的對象。在這種情況下，在對象經過時，最多需要將背景的特定部分重新編碼一次。如在本文所使用的，幀序列指的是圖像幀的序列。應當注意，例如，隨著幀序列被攝像機捕獲，典型地順序地接收幀序列。如在本文所使用的，移動對象的移動的預測大體上指的是基于迄今為止已經接收到的幀來預測移動。典型地，這包括與在第一時間點之前的時間點相對應的幀。其也可以包括該第一幀。然而，在執行預測時，典型地尚未接收到一個或多個中間幀。通過在接收到一個或多個中間幀之前啟動移動的預測，可以減少編碼處理中的等待時間。如在本文所使用的，通過措詞“在第一時間點和第二時間點之間”所定義的時間間隔包括第一時間點和與一個或多個中間幀相對應的時間點。然而，其不一定包括第二時間點。在該定義的情況下，因而預計所定義的在所預測的移動對象在第一時間點和第二時間點之間的全部移動期間覆蓋移動對象的ROI會覆蓋在第一幀以及一個或多個中間幀中的每一個中、但是不一定在第二幀中的對象。類似地，感興趣區域中的、在所預測的對象在與特定中間圖像幀相對應的時間點和第二時間點之間的全部移動期間覆蓋對象的子集是預計覆蓋在特定幀和每個隨后中間幀中、但是不一定在第二幀中的對象的子集。感興趣區域大體上意味著被判斷為特別重要的許多像素(例如，因為它們表示對象)。在編碼應用中，可以將幀劃分為例如具有16×16像素的固定尺寸的宏塊。感興趣區域可以由被發現特別重要的這樣的宏塊(例如，因為它們表示對象)的集合組成。如在本文所使用的，編碼質量模式典型地指的是編碼質量的空間模式或功能。具體是，編碼質量模式定義在感興趣區域的哪個部分中使用哪個編碼質量。在一些實施例中，編碼質量被設置為遍及ROI為常量。換句話說，編碼質量模式可以定義將在全部感興趣區域中使用的單個編碼質量。使編碼質量較少變化是有利的，這是因為其使得能夠根據其它編碼塊預測更多編碼塊，由此提高編碼效率。在其它實施例中，編碼質量模式可以定義將在感興趣區域的不同部分中使用的不同編碼質量。這允許更大的靈活性。例如，可以在與預計大體上具有較低的圖像品質的幀的部分(諸如幀的周邊部分)相對應的ROI的一些部分中將編碼質量設置為較低。編碼質量可以大體上與壓縮級別相對應。低級別的壓縮典型地給出高編碼質量并且反之亦然。在諸如H.264編解碼器之類的一些編解碼器中，就量化參數(QP值)而言給出壓縮級別。編碼質量因而也可以與量化參數相對應。如將在后面的部分中進一步討論的，諸如H-264標準之類的一些視頻壓縮標準規定就內幀(例如，I-幀)和間幀(例如，P-幀或B-幀)而言實施的時間視頻壓縮。內幀基本上是僅僅使用要被編碼的圖像幀中的信息被編碼的圖像幀。另外，根據對于要被編碼的圖像幀所捕獲的所有圖像數據來計算內幀。也被稱為預測幀或差分幀的間幀基于來自先前編碼的圖像幀的信息以及目前編碼的幀的信息，即，可以將間幀描述成利用先前的圖像幀中的時間上冗余的信息。根據實施例，可以將第一幀編碼為內幀。另外，可以將一個或多個中間幀編碼為間幀。典型地，背景像素在各幀之間不顯著地改變。通過將中間幀編碼為間幀，因此典型地不需要對于每個幀對背景像素進行重新編碼，尤其是在編碼質量模式對于特定背景像素保持不變的時長內，不需要進行重新編碼。在一些實施例中，使用公共編碼質量模式在整個感興趣區域(并且不僅僅是其子集)中對一個或多個中間幀中的至少一些進行編碼。這包括使用公共編碼質量模式在感興趣區域中對一個或多個中間幀中的每一個進行編碼的情況。這是有利的，是因為可以完全避免對落入感興趣區域內的背景的重新編碼。通常，與幀的其余相比，至少與ROI的周圍相比，在ROI內利用較高的編碼質量對幀進行編碼。然而，以較高的編碼質量進行編碼以增加的比特率為代價。如果ROI是大區域，這尤其如此。從這個角度看，因而較好的是，對于要被編碼的每個幀將本文檔來自技高網...

【技術保護點】
一種用于對幀序列進行視頻編碼的方法，包括：接收(S02)描繪移動對象(414)的幀序列，該序列包括與第一時間點相對應的第一幀(402)、與之后的第二時間點相對應的第二幀(412)以及與居于所述第一時間點和所述第二時間點之間的一個或多個時間點相對應的一個或多個中間幀(404、406、408、410)；預測(S04)在所述第一時間點和所述第二時間點之間所述移動對象(414)在所述幀序列中的移動；基于預測的所述移動對象(414)的移動，定義(S06)所述幀中的感興趣區域(416)，所述感興趣區域(416)在所預測的所述移動對象(414)在所述第一時間點和所述第二時間點之間的全部移動期間覆蓋所述移動對象(414)，其中所述感興趣區域在各幀之間不變化；以及使用用于定義在所述感興趣區域(416)的哪個部分中使用哪個編碼質量的公共常量編碼質量模式，來對所述感興趣區域(416)中的第一幀(402)和所述感興趣區域(416)的至少一子集中的所述一個或多個中間幀(404、406、408、410)進行編碼(S08)，其中對于特定中間幀，所述感興趣區域的所述子集在所預測的所述對象在與所述特定中間圖像幀相對應的時間點和所述第二時間點之間的全部移動期間覆蓋所述對象，其中，該方法進一步包括：對于第一中間幀(404)，通過從所述感興趣區域(416)中移除一部分(422a)來確定所述感興趣區域的所述子集(420a)，以及對于所述第一中間幀(404)之后的每個中間幀(406、408、410)，通過從在對前一中間幀進行編碼時所使用的子集(420a)中移除一部分(422b)來確定所述感興趣區域的所述子集(420b)。...

【技術特征摘要】
2014.12.03 EP 14196126.81.一種用于對幀序列進行視頻編碼的方法，包括：接收(S02)描繪移動對象(414)的幀序列，該序列包括與第一時間點相對應的第一幀(402)、與之后的第二時間點相對應的第二幀(412)以及與居于所述第一時間點和所述第二時間點之間的一個或多個時間點相對應的一個或多個中間幀(404、406、408、410)；預測(S04)在所述第一時間點和所述第二時間點之間所述移動對象(414)在所述幀序列中的移動；基于預測的所述移動對象(414)的移動，定義(S06)所述幀中的感興趣區域(416)，所述感興趣區域(416)在所預測的所述移動對象(414)在所述第一時間點和所述第二時間點之間的全部移動期間覆蓋所述移動對象(414)，其中所述感興趣區域在各幀之間不變化；以及使用用于定義在所述感興趣區域(416)的哪個部分中使用哪個編碼質量的公共常量編碼質量模式，來對所述感興趣區域(416)中的第一幀(402)和所述感興趣區域(416)的一子集中的所述一個或多個中間幀(404、406、408、410)進行編碼(S08)，其中對于特定中間幀，所述感興趣區域的所述子集在所預測的所述移動對象在與所述特定中間幀相對應的時間點和所述第二時間點之間的全部移動期間覆蓋所述移動對象，其中：對于第一中間幀(404)，通過從所述感興趣區域(416)中移除一部分(422a)來確定所述感興趣區域的所述子集(420a)，以及對于所述第一中間幀(404)之后的每個中間幀(406、408、410)，通過從在對前一中間幀進行編碼時所使用的子集(420a)中移除一部分(422b)來確定所述感興趣區域的所述子集(420b)。2.根據權利要求1所述的方法，其中所述編碼質量模式定義將在全部感興趣區域(416)中使用的單個編碼質量。3.根據權利要求1所述的方法，其中所述編碼質量模式定義將在所述感興趣區域(416)的不同部分中使用的不同編碼質量。4.根據權利要求1所述的方法，其中每個編碼質量與壓縮級別相對應。5.根據權利要求1所述的方法，其中所述第一幀(402)被編碼為內幀。6.根據權利要求1所述的方法，其中所述一個或多個中間幀(404、406、408、410)被編碼為間幀。7.根據權利要求1所述的方法，其中所述一個或多個中間幀(404、406、408、410)中的至少一些而非全部使用所述公共常量編碼質量模式在整個感興趣區域(416)中被編碼。8.根據權利要求1所述的方法，其中，從所述感興趣區域(416)中移除的部分(422a)對應于在所述第一幀(402)中覆蓋而在所述第一中間幀(404)中不覆蓋所述移動對象的至少一部分的區域，并且從在對前一中間幀進行編碼時所使用的子集(420a)中移除的部分(422b)對應于在所述前一中間幀中至少部分地覆蓋而在隨后中間幀中不覆蓋所述移動對象的區域。9.根據權利要求1所述的方法，進一步包括：對于所述一個或多個中間幀(404、406、408、410)中的每一個，利用比由所述編碼質量模式針對被移除的部分所定義的編碼質量低的編碼質量對被移除的部分(422a、422b)中的中間幀進...

【專利技術屬性】
技術研發人員：陳建丹，馬庫斯·斯堪斯，維列·貝特沙爾特，米卡埃爾·彭德斯，亞歷山大·馬丁斯，
申請(專利權)人：安訊士有限公司，
類型：發明
國別省市：瑞典;SE