控制被編碼的視頻的分辨率制造技術(shù)

一種用于參與視頻通話的用戶終端包括：編碼器，其具有幀尺寸，該幀尺寸是編碼器對(duì)視頻中的幀進(jìn)行編碼的以像素為單位的尺寸；以及預(yù)處理級(jí)，其以該幀尺寸將幀的序列提供給編碼器，每個(gè)幀包括至少用于表示相應(yīng)時(shí)刻上的源視頻圖像的圖像區(qū)域。預(yù)處理級(jí)被配置為，通過(guò)對(duì)源視頻圖像進(jìn)行尺寸調(diào)整以產(chǎn)生尺寸小于編碼器的幀尺寸的每個(gè)修改的幀的圖像區(qū)域，并且與邊緣區(qū)域組合以使得經(jīng)修改的幀與編碼器的幀尺寸相匹配，從而以經(jīng)修改的形式將幀中的至少一些提供給編碼器。編碼器以幀尺寸對(duì)幀進(jìn)行編碼且將它們作為實(shí)況視頻通話的一部分發(fā)送到接收終端。

【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專利技術(shù)】
技術(shù)介紹
在現(xiàn)代通信系統(tǒng)中，可以通過(guò)諸如有線和/或無(wú)線網(wǎng)絡(luò)等的介質(zhì)來(lái)進(jìn)行視頻通話，所述網(wǎng)絡(luò)例如可以包括諸如因特網(wǎng)等的基于分組的網(wǎng)絡(luò)。通話包括從一個(gè)用戶終端發(fā)送到另一個(gè)用戶終端的至少一個(gè)視頻流，并且經(jīng)常是兩個(gè)方向中的視頻流。兩個(gè)終端通過(guò)網(wǎng)絡(luò)或其它介質(zhì)建立相互之間的通信信道，允許由發(fā)送側(cè)的照相機(jī)捕獲的視頻數(shù)據(jù)的幀通過(guò)信道被發(fā)送到接收側(cè)。視頻的幀通常由發(fā)送終端上的編碼器編碼以便于壓縮視頻的幀，以用于通過(guò)信道來(lái)傳輸。在接收終端處的相對(duì)應(yīng)的解碼器對(duì)所接收的視頻的幀進(jìn)行解碼以便于對(duì)視頻的幀進(jìn)行解壓，以用于輸出到屏幕。可以用于指代編碼器和/或解碼器的通用術(shù)語(yǔ)是編解碼器。編碼常常包括采用幀內(nèi)預(yù)測(cè)編碼、幀間預(yù)測(cè)編碼、或者更常見(jiàn)的兩者的組合(例如，在幀間編碼的幀的序列之間交錯(cuò)的偶然的幀內(nèi)編碼的“關(guān)鍵”幀)形式的預(yù)測(cè)編碼。根據(jù)幀內(nèi)編碼，塊相對(duì)于同一幀中的其它塊被編碼。在該情況下，目標(biāo)塊根據(jù)該塊與同一幀中的另一塊(例如相鄰塊)之間的差(殘差)而被編碼。殘差小于絕對(duì)值并且因此要求更少的位來(lái)編碼，并且，殘差越小，在編碼中產(chǎn)生的位越少。根據(jù)幀間編碼，目標(biāo)幀中的塊通常基于運(yùn)動(dòng)預(yù)測(cè)，相對(duì)于前面幀中的相對(duì)應(yīng)的部分而被編碼。在該情況下，根據(jù)用于標(biāo)識(shí)目標(biāo)塊與要從中預(yù)測(cè)出該塊的相對(duì)應(yīng)的部分之間的偏移量的運(yùn)動(dòng)向量、以及目標(biāo)塊與從中預(yù)測(cè)出該塊的相對(duì)應(yīng)的部分之間的差(殘差)來(lái)對(duì)目標(biāo)塊進(jìn)行編碼。幀間編碼通常產(chǎn)生甚至比幀內(nèi)編碼更小的殘差，并且因此產(chǎn)生甚至更少的位。視頻通話本質(zhì)上是“實(shí)況(live)”通信。也即，通話的輸出視頻流持續(xù)地在發(fā)送終端處被實(shí)時(shí)捕獲，甚至在該同一流的其它先前編碼的數(shù)據(jù)在接收終端被接收并且播放時(shí)(與整個(gè)視頻文件一次性被編碼且然后隨后被發(fā)送相反)。本文所使用的“實(shí)況”或“實(shí)時(shí)”不一定限于零延遲。然而，用戶確實(shí)期望視頻至少像被捕獲的事件實(shí)際上發(fā)生得那樣快速地以及至少像視頻被預(yù)期播放得那樣快速地被編碼、發(fā)送和解碼(平均地)。當(dāng)考慮視頻編碼時(shí)，特別在實(shí)時(shí)應(yīng)用中，一個(gè)問(wèn)題是視頻的分辨率。本文所使用的術(shù)語(yǔ)分辨率是指像素分辨率，即以兩個(gè)維度上的像素?cái)?shù)量表示的幀或圖像的尺寸(與每單位面積上的像素的意義上的分辨率不同)。像素分辨率通常以多個(gè)像素寬和高的數(shù)量的方式來(lái)表達(dá)，即列和行的數(shù)量，例如1280x720(720p)或640x480(VGA)。較低分辨率的幀將被接收用戶視為較差質(zhì)量。另一方面，較高分辨率的幀在被編碼的比特流中產(chǎn)生較高的比特率(并且因此更大的帶寬)。較高分辨率的幀還招致更多的用來(lái)編碼的處理資源(例如，更多的處理器周期和/或存儲(chǔ)器資源)以及更多的用來(lái)解碼的處理資源。這意味著，發(fā)送比發(fā)送終端、信道或接收終端所能夠?qū)崟r(shí)處理的更高的分辨率的幀易于導(dǎo)致諸如延時(shí)或分組丟失之類的其它問(wèn)題。幀被編碼的分辨率是編碼器的固有特性。為了適應(yīng)諸如網(wǎng)絡(luò)容量或用戶終端的處理能力等的因素，常規(guī)的編解碼器(例如基于H.264和HEVC標(biāo)準(zhǔn)的那些編解碼器)允許編碼器被設(shè)置為在多個(gè)不同的離散分辨率中的一個(gè)處操作，所述離散分辨率例如是1280x720(720p)或者640x480(VGA)。分辨率在比特流中作為邊信息被發(fā)送到解碼器，以使得幀能夠被相應(yīng)地解碼。
技術(shù)實(shí)現(xiàn)思路
將期望的是提供允許將期望的分辨率應(yīng)用于實(shí)況視頻通話中的機(jī)制。例如，可能期望響應(yīng)于在發(fā)送終端與接收終端之間經(jīng)歷的一個(gè)或多個(gè)變化的信道條件、和/或發(fā)送和/或接收終端的一個(gè)或多個(gè)處理資源的變化的可用性來(lái)動(dòng)態(tài)地調(diào)整分辨率。然而，存在可能不期望在任何給定應(yīng)用或環(huán)境中切換編碼器的固有幀尺寸的各種原因。例如，這將要求在每次分辨率變化時(shí)對(duì)新的內(nèi)幀(即，關(guān)鍵幀)進(jìn)行編碼和發(fā)送，這可能影響比特率和/或處理資源方面的效率。作為另一個(gè)示例，不是所有編碼器都配備有切換幀尺寸的能力(例如，在專用硬件編碼器的情況下)，并且不是所有解碼器都被配置為識(shí)別可選擇的幀尺寸。此外，突然在離散的幀尺寸(例如720p與VGA)之間做出大的跳躍可能對(duì)性能具有不可預(yù)期的影響，例如，取決于照相機(jī)和/或視頻內(nèi)容。為解決這些或其它問(wèn)題中的任何一個(gè)，將期望的是提供不依賴于(或者不唯一地依賴于)在不同編碼器幀尺寸之間進(jìn)行切換的替代機(jī)制。根據(jù)本文公開(kāi)的一個(gè)方面，提供了用于參與視頻通話的用戶終端。該用戶終端包括編碼器，其具有幀尺寸，該幀尺寸是編碼器對(duì)視頻的幀進(jìn)行編碼的以像素為單位的尺寸。用戶終端還包括預(yù)處理級(jí)，該預(yù)處理級(jí)以所述幀尺寸將幀的序列提供給編碼器。每個(gè)幀包括至少用于表示在相應(yīng)時(shí)刻的源視頻圖像的圖像區(qū)域。此外，預(yù)處理級(jí)被配置為以經(jīng)修改的形式將所述幀中的至少一些提供給編碼器。為生成經(jīng)修改的幀中的每個(gè)，預(yù)處理模塊對(duì)源視頻圖像進(jìn)行尺寸調(diào)整，以使得在相應(yīng)的經(jīng)修改的幀中的相對(duì)應(yīng)的圖像區(qū)域小于編碼器的幀尺寸。為確保經(jīng)修改的幀仍然與編碼器的幀尺寸相匹配，預(yù)處理模塊將該小于一般尺寸的圖像區(qū)域與邊緣區(qū)域組合。例如，在實(shí)施例中，修改可以包括縮小源視頻圖像并添加邊緣區(qū)域，和/或裁剪源視頻圖像并包括替代被裁剪的材料的邊緣區(qū)域。編碼器以所述幀尺寸對(duì)包括經(jīng)修改的幀在內(nèi)的每個(gè)幀進(jìn)行編碼，并且將被編碼的幀作為實(shí)況視頻通話的一部分發(fā)送到接收終端。在實(shí)施例中，發(fā)送用戶終端還被配置為將關(guān)于所述尺寸調(diào)整的信息作為信號(hào)發(fā)送到接收終端，以用于放大經(jīng)修改的幀的圖像區(qū)域以便由接收終端顯示。因此，根據(jù)本文公開(kāi)的其他方面，提供了一種用戶終端，其包括：解碼器，所述解碼器被配置為對(duì)幀中的每個(gè)進(jìn)行解碼；以及渲染器，所述渲染器被配置為以所述幀尺寸來(lái)對(duì)每個(gè)被解碼的幀的圖像區(qū)域進(jìn)行渲染。渲染器包括尺寸調(diào)整級(jí)，該尺寸調(diào)整級(jí)接收關(guān)于由預(yù)處理級(jí)執(zhí)行的尺寸調(diào)整的信息。基于該信息，渲染器能夠?qū)⒚總€(gè)經(jīng)修改的幀的圖像區(qū)域放大到所述幀尺寸，丟棄邊緣區(qū)域。可替代地，如果發(fā)送終端不將關(guān)于尺寸調(diào)整的信息作為信號(hào)發(fā)送，或者渲染器是未被配備為識(shí)別這樣的尺寸調(diào)整技術(shù)的傳統(tǒng)版本，則渲染器可以簡(jiǎn)單地顯示經(jīng)修改的幀，而不將實(shí)際的圖像區(qū)域調(diào)整回到幀尺寸。在該情況下，邊緣被顯示給接收用戶，圖像看起來(lái)較小，但是仍是可查看的。根據(jù)上述技術(shù)，要被編碼的實(shí)際的、當(dāng)前視頻內(nèi)容的區(qū)域被縮小或裁剪到小于編碼器幀尺寸，并且冗余邊緣被添加或保留。這降低了編碼器的給定的幀尺寸的“有效”分辨率。邊緣區(qū)域被設(shè)計(jì)為至少與以幀的完全尺寸對(duì)同一圖像進(jìn)行編碼相比，在編碼中產(chǎn)生相對(duì)少的位。因此，邊緣區(qū)域可以幾乎不包含一個(gè)幀與另一個(gè)幀的差，和/或可以在給定幀內(nèi)具有大本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于參與視頻通話的用戶終端，包括：編碼器，其具有幀尺寸，所述幀尺寸是所述編碼器對(duì)視頻中的幀進(jìn)行編碼的以像素為單位的尺寸；以及預(yù)處理級(jí)，其被配置為以所述幀尺寸將幀的序列提供給所述編碼器，每個(gè)幀包括至少用于表示在相應(yīng)時(shí)刻處的源視頻圖像的圖像區(qū)域；其中，所述預(yù)處理級(jí)被配置為：以經(jīng)修改的形式將所述幀中的至少一些提供給所述編碼器，這是通過(guò)對(duì)所述源視頻圖像進(jìn)行尺寸調(diào)整以產(chǎn)生尺寸小于所述編碼器的幀尺寸的每個(gè)經(jīng)修改的幀的所述圖像區(qū)域，并且與邊緣區(qū)域相組合以使得所述經(jīng)修改的幀與所述編碼器的幀尺寸相匹配；以及其中，所述編碼器被布置為以所述幀尺寸對(duì)所述幀中的每個(gè)幀進(jìn)行編碼，并且將所編碼的幀發(fā)送到接收終端作為實(shí)況視頻通話的一部分。

【技術(shù)特征摘要】
【國(guó)外來(lái)華專利技術(shù)】2013.10.22 GB 1318658.0;2014.02.19 US 14/184,2281.一種用于參與視頻通話的用戶終端，包括：
編碼器，其具有幀尺寸，所述幀尺寸是所述編碼器對(duì)視頻中的幀進(jìn)行
編碼的以像素為單位的尺寸；以及
預(yù)處理級(jí)，其被配置為以所述幀尺寸將幀的序列提供給所述編碼器，
每個(gè)幀包括至少用于表示在相應(yīng)時(shí)刻處的源視頻圖像的圖像區(qū)域；
其中，所述預(yù)處理級(jí)被配置為：以經(jīng)修改的形式將所述幀中的至少一
些提供給所述編碼器，這是通過(guò)對(duì)所述源視頻圖像進(jìn)行尺寸調(diào)整以產(chǎn)生尺
寸小于所述編碼器的幀尺寸的每個(gè)經(jīng)修改的幀的所述圖像區(qū)域，并且與邊
緣區(qū)域相組合以使得所述經(jīng)修改的幀與所述編碼器的幀尺寸相匹配；以及
其中，所述編碼器被布置為以所述幀尺寸對(duì)所述幀中的每個(gè)幀進(jìn)行編
碼，并且將所編碼的幀發(fā)送到接收終端作為實(shí)況視頻通話的一部分。
2.根據(jù)權(quán)利要求1所述的用戶終端，其中，所述預(yù)處理級(jí)被配置為取
決于影響所述發(fā)送的一個(gè)或多個(gè)信道條件、所述用戶終端的一個(gè)或多個(gè)處
理資源、和/或所述接收終端的一個(gè)或多個(gè)處理資源來(lái)動(dòng)態(tài)地調(diào)整所述圖像
區(qū)域的尺寸；以及，調(diào)整所述邊緣區(qū)域以使得每個(gè)幀保持所述編碼器的幀
尺寸。
3.根據(jù)權(quán)利要求2所述的用戶終端，其中，當(dāng)所述圖像區(qū)域的尺寸被
調(diào)整的同時(shí)，所述編碼器的幀尺寸在連續(xù)的多個(gè)所述幀上保持恒定。
4.根據(jù)權(quán)利要求3所述的用戶終端，其中，所述編碼器能夠操作以在
預(yù)先確定的幀尺寸的集合中的不同幀尺寸之間進(jìn)行切換。
5.根據(jù)權(quán)利要求4所述的用戶終端，其中，所述編碼器被配置為取決
于影響所述發(fā)送的一個(gè)或多個(gè)信道條件、所述用戶終端的一個(gè)或多個(gè)處理
資源、和/或所述接收終端的一個(gè)或多個(gè)處理資源來(lái)動(dòng)態(tài)地調(diào)整在所述預(yù)先
確定的幀尺寸中的不同幀尺寸之間的所述切換。
6.根據(jù)任一項(xiàng)前述權(quán)利要求所述的用戶終端，其中，以下中的一個(gè)或
多個(gè)：
除了嵌入非圖像數(shù)據(jù)的任何調(diào)制以外，所述邊緣區(qū)域在所述經(jīng)修改的
幀中的每個(gè)幀內(nèi)具有均勻的顏色和亮度；
所述邊緣區(qū)域是黑色的；
除了嵌入非圖像數(shù)據(jù)的任何調(diào)制以外，所述邊緣區(qū)域在多個(gè)所述經(jīng)修
改的幀上保持恒定；
所述邊緣區(qū)域不包括超出所述視頻圖像的圖像內(nèi)容的圖像內(nèi)容；和/或
對(duì)所述邊緣區(qū)域的所述編碼包括幀間預(yù)測(cè)編碼或幀內(nèi)預(yù)測(cè)編碼。
7.根據(jù)任一項(xiàng)前述權(quán)利要求所述的用戶終端，其被配置為將關(guān)于所述
尺寸調(diào)整的信息用信號(hào)發(fā)送到所述接收終端，以用于放大所述經(jīng)修改的幀
的所述圖像區(qū)域以供由所述接收終端顯示。
8.一種視頻電話系統(tǒng)，包括權(quán)利要求7所述的用戶終端，以及所述接
收終端，所述接收終端包括：
解碼器，其被配置為對(duì)所述幀中的每個(gè)進(jìn)行解碼；以及
渲染器，其被配置為以所述幀尺寸來(lái)對(duì)每個(gè)所解碼的幀中的所述圖像
部分進(jìn)行渲染；
其中，所述渲染器包括尺寸調(diào)整級(jí)，其被配置為接收關(guān)于由所述預(yù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：P·卡爾松，M·赫門多夫，K·霍夫鮑爾，S·尼基弗羅夫，D·Y·趙，
申請(qǐng)(專利權(quán))人：微軟技術(shù)許可有限責(zé)任公司，
類型：發(fā)明
國(guó)別省市：美國(guó);US