使用3D視頻格式的裝置制造方法及圖紙

本申請涉及3D視頻格式。多種實施方式涉及3D視頻格式。一種或多種實施方式涉及為MVC和SVC提供適應(yīng)性修改，以使3D視頻格式被使用。根據(jù)一般方面，包括視頻和深度的一組圖像被編碼。該組圖像被根據(jù)特定的3D視頻格式相關(guān)聯(lián)，并且被以利用該組圖像之間的冗余的方式編碼。編碼后的圖像被基于與這些圖像有關(guān)的特定的3D視頻格式以特定順序排列在比特流中。比特流中的該特定順序被利用信令信息來指示。根據(jù)另一方面，包括該組編碼后的圖像的比特流被訪問。信令信息也被訪問。該組圖像被利用信令信息來解碼。

【技術(shù)實現(xiàn)步驟摘要】
本申請是申請日為2010年2月19日，申請?zhí)枮?01080008695.8，名稱為“3D視頻格式”的專利技術(shù)專利申請的分案申請。
描述了涉及編碼系統(tǒng)的實施方式。各種特定的實施方式涉及三維(3D)視頻格式。
技術(shù)介紹
為了方便諸如三維電視(3DTV)和自由視點視頻(FVV)之類的新的視頻應(yīng)用，可以使用包括傳統(tǒng)的二維(2D)視頻和深度二者的3D視頻(3DV)數(shù)據(jù)格式，以使額外的視頻能夠被呈現(xiàn)在用戶端。這種3DV格式的示例包括2D加深度(2D+Z)(其包括2D視頻和相應(yīng)的深度貼圖)和分層深度視頻LDV(其包括2D+Z中的數(shù)據(jù)和一個遮擋視頻(occlusionvideo)及一個遮擋深度(occlusiondepth))。多視角加深度(MVD)是2D+Z的擴展，包括來自不同視點的多個2D+Z。視差增強立體圖像(DES)是相當于來自不同視角的兩個LDV的另一種格式。如何傳送(編碼并發(fā)送)這些數(shù)據(jù)格式是一個重要問題，因為必須在用戶端聯(lián)合使用不同分量。
技術(shù)實現(xiàn)思路
根據(jù)一個概括方面，一組圖像被編碼。該組圖像包括視頻圖像和與該視頻圖像相對應(yīng)的深度圖像。該組圖像中的圖像被根據(jù)特定的3D視頻格式相關(guān)聯(lián)。該組圖像被以利用該組圖像中的圖像之間的冗余的方式編碼。編碼后的圖像被基于與這些圖像有關(guān)的特定的3D視頻格式，以特定次序排列在比特流中。該特定次序在比特流中被使用信令信息指示出來。根據(jù)另一概括方面，包括一組編碼后的圖像的比特流被訪問，該組圖像包括視頻圖像和與該視頻圖像相對應(yīng)的深度圖像。該組圖像被根據(jù)特定的3D視頻格式相關(guān)聯(lián)。該組圖像被以利用該組圖像中的圖像之間的冗余的方式編碼。指示特定次序的信令信息被訪問，其中該組編碼后的圖像被以該特定次序排列在比特流中。該特定次序是以與該組圖像有關(guān)的特定的3D視頻格式為基礎(chǔ)的。該組圖像被使用信令信息解碼。根據(jù)又一概括方面，視頻信號被格式化為包括信息。該視頻信號包括信令部分，該信令部分包括信令信息。該信令信息指示特定次序，其中該組編碼后的圖像被以該特定次序排列在比特流中。該特定次序是以與該組圖像有關(guān)的特定的3D視頻格式為基礎(chǔ)的。下面的描述和附圖中闡述了一種或多種實施方式的細節(jié)。即使僅以一種特定方式進行描述，也應(yīng)該明白實施方式可以被以各種方式配置或?qū)崿F(xiàn)。例如，一種實施方式可以被作為一種方法執(zhí)行，或者被實現(xiàn)為一種裝置(諸如，被配置為執(zhí)行一組操作的裝置、或者存儲用于執(zhí)行一組操作的指令的裝置)、或者被實現(xiàn)為一種信號。結(jié)合附圖和權(quán)利要求，其他方面和特征將通過下面的詳細描述變得顯而易見。附圖說明圖1是深度貼圖(depthmap)的示例。圖2是示出LDV格式的四個分量的示例。圖3是3DV編碼器的實施方式的示意圖。圖4是3DV解碼器的實施方式的示意圖。圖5是視頻傳輸系統(tǒng)的實施方式的示意圖。圖6是視頻接收系統(tǒng)的實施方式的示意圖。圖7是視頻處理設(shè)備的實施方式的示意圖。圖8是示出對MVC結(jié)構(gòu)中的MVD格式進行編碼的示例的示意圖。圖9是示出對MVC結(jié)構(gòu)中的LDV格式進行編碼的示例的示意圖。圖10是示出對MVC結(jié)構(gòu)中的DES格式進行編碼的示例的示意圖。圖11是第一編碼處理的實施方式的示意圖。圖12是第一解碼處理的實施方式的示意圖。圖13是示出對MVC結(jié)構(gòu)中的MVD格式進行編碼的另一示例的示意圖。圖14是示出對MVC結(jié)構(gòu)中的LDV格式進行編碼的另一示例的示意圖。圖15是示出對MVC結(jié)構(gòu)中的DES格式進行編碼的另一示例的示意圖。圖16是第二編碼處理的實施方式的示意圖。圖17是第二解碼處理的實施方式的示意圖。圖18是示出對SVC結(jié)構(gòu)中的LDV格式進行編碼的示例的示意圖。圖19是第三編碼處理的實施方式的示意圖。圖20是第三解碼處理的實施方式的示意圖。圖21是第四編碼處理的實施方式的示意圖。圖22是第四解碼處理的實施方式的示意圖。具體實施方式可以利用諸如既包括傳統(tǒng)的2D視頻又包括深度的數(shù)據(jù)格式之類的3DV數(shù)據(jù)格式，來使例如附加的視頻視圖可以被呈現(xiàn)在用戶端。但是，發(fā)明人認為缺陷在于，在諸如可分層視頻編碼(SVC)和多視角視頻編碼(MVC)之類的當前標準中并不支持3DV格式。多視角視頻序列是包括從不同視點捕捉相同場景的兩個以上視頻序列的一組視頻序列。所以，在至少一種實施方式中，我們提出重新使用現(xiàn)有的對于高級視頻編碼(AVC)的MVC或SVC擴展，在用信號指示如何正確提取3DV內(nèi)容的幫助下發(fā)送3DV內(nèi)容。可以利用包括但不限于例如，序列參數(shù)集(SPS)、畫面參數(shù)集(PPS)、條帶頭、輔助增強信息(SEI)消息等的任意高級語法來進行信號指示。在本申請中，其他信令機制也是可能的，并且是可以想到的。在至少一種實施方式中，我們提出使用SVC或MVC的構(gòu)架來對3DV分量進行編碼，而不要求系統(tǒng)級的同步。使用SVC或MVC中的技術(shù)，本原理可以更有效地利用分量間(cross-component)冗余。另外，后向兼容性更加靈活，因為可以僅利用整個比特流的一部分來對傳統(tǒng)的2D視頻進行發(fā)送/解碼(例如，用于SVC的基本層、或者MVC中的基本視圖)。在至少一種實施方式中，我們還提出使用高級語法來用信號指示如何理解3DV背景中的視圖(MVC中)或者層(SVC中)，從而使得3D顯示器可以正確使用信息。在至少一種實施方式中，我們提出了用于用信號指示不同3DV格式的MVC和SVC的構(gòu)架中的“3DV格式SEI消息”。這種實施方式可能會具有以下優(yōu)點中的一個以上優(yōu)點、或者全部優(yōu)點：·避免了對系統(tǒng)級的不同分量進行同步的需要，因為它們可以被以分層方式(SVC)或者同步視角(MVC)方式相關(guān)聯(lián)。·更好地利用了分量間冗余：通過相對于利用交織法的AVC而言可以潛在地提供更高編碼效率的SVC/MVC將使能分量間預(yù)測。·更靈活的后向兼容性：在用戶端，傳統(tǒng)的2D視頻應(yīng)用只需要部分數(shù)據(jù)。應(yīng)該明白，盡管至少一種實施方式涉及到SEI消息，但是以上所述的原理不限于使用SEI消息。所以，例如，可以使用包括但不限于SPS、PPS、條帶頭等的其他高級語法。3D視頻(3DV)再現(xiàn)格式包括視頻分量和深度分量二者，這些格式諸如是2D+Z(MVD)和LDV(DES)等，并且隨著3DV應(yīng)用吸引了更多的市場關(guān)注而變得更加重要。圖1示出了根據(jù)本原理的實施例的可以應(yīng)用本原理的與被稱為“Leaving_Laptop”的MPE本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種裝置，包括被配置為至少執(zhí)行以下處理的處理器：對包括視頻圖像和與所述視頻圖像相對應(yīng)的深度圖像的一組圖像進行編碼，其中所述一組圖像以利用所述一組圖像中的圖像之間的冗余的方式被編碼；基于與所述圖像有關(guān)的特定順序?qū)⑺鼍幋a后的圖像排列在比特流中；以及使用信令信息指示所述特定順序。

【技術(shù)特征摘要】
2009.02.19 US 61/208,0131.一種裝置，包括被配置為至少執(zhí)行以下處理的處理器：
對包括視頻圖像和與所述視頻圖像相對應(yīng)的深度圖像的一組圖像進行
編碼，其中所述一組圖像以利用所述一組圖像中的圖像之間的冗余的方式
被編碼；
基于與所述圖像有關(guān)的特定順序?qū)⑺鼍幋a后的圖像排列在比特流
中；以及
使用信令信息指示所述特定順序。

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：田棟，波林·萊，羅健聰，
申請(專利權(quán))人：湯姆遜許可證公司，
類型：發(fā)明
國別省市：法國;FR