編碼裝置和編碼方法以及解碼裝置和解碼方法制造方法及圖紙

本發明專利技術涉及一種能夠根據與現有模式兼容的模式對多視點圖像進行編碼和解碼的編碼裝置和編碼方法以及解碼裝置和解碼方法。兼容編碼器通過以訪問單元為單位對作為兼容圖像的圖像（A1）進行編碼來生成兼容流。輔助編碼器通過以訪問單元為單位對作為根據兼容圖像生成多視點圖像時使用的輔助圖像的圖像（B1，C1）的復用圖像進行編碼來生成輔助圖像的復用圖像的編碼流。復用單元對兼容流、表示單元的邊界的3DV表示定界符以及輔助圖像的復用圖像的編碼流進行發送。本技術可以應用于例如對多視點模式的3D圖像進行編碼的編碼裝置。

【技術實現步驟摘要】
【國外來華專利技術】
本技術涉及編碼裝置、編碼方法、解碼裝置以及解碼方法，更具體地，涉及能夠根據與現有模式兼容的模式對多視點圖像進行編碼和解碼的編碼裝置、編碼方法、解碼裝置以及解碼方法。
技術介紹
目前，作為3D圖像觀看模式，通常存在其中通過佩戴下述眼鏡來觀看交替顯示的雙視點圖像的模式(下文中，稱為雙視點模式)，其中該眼鏡的左眼快門在顯示雙視點圖像中的一個圖像時打開而其右眼快門在顯示雙視點圖像中的另一個圖像時打開。然而，在這種雙視點模式中，除3D圖像顯示裝置之外觀看者還需購買眼鏡，因此降低了觀看者的購買意愿。另外，由于觀看者需要佩戴眼鏡才能觀看，這使觀看者感到苦惱。因此，不用佩戴眼鏡也可以觀看3D圖像的觀看模式(在下文中，稱為多視點模式)的需求日益增大。在多視點模式中，顯示多視點圖像使得每個視點的可視角度都不同，于是，在不佩戴眼鏡的情況下用左眼和右眼來觀看任意兩個視點的圖像的觀看者可以看到3D圖像。提供多視點模式的觀看的顯示裝置例如基于用于雙視點模式的兩個視點的圖像生成用于多視點模式的多視點圖像并且顯示所生成的多視點圖像。更具體地，顯示裝置使用圖像視差估計技術(深度估計)來獲取用于雙視點模式的雙視點圖像的視差(深度)。然后，顯示裝置使用多視點圖像生成技術(視圖生成)來生成與用于雙視點模式的兩個視點的圖像對應的視點相鄰的多視點圖像的合成圖像并且顯示該合成圖像，其中，多視點圖像生成技術使用合成技術(視圖合成)以及兩個視點的圖像之間的視差。現有編碼模式包括高級視頻編碼(AVC)模式和多視圖視頻編碼(MVC)模式。圖1是示出以MVC模式對雙視點圖像進行編碼并且對所編碼的圖像進行復用的編碼裝置的示例的圖。圖1中示出的編碼裝置10由成像單元11A、成像單元11B、MVC編碼器12以及復用單元13配置而成。成像單元IlA捕捉預定視點的圖像A并且將所捕捉的圖像提供給MVC編碼器12。另外，成像單元IlB捕捉與圖像A的視點不同的視點的圖像B并且將所捕捉的圖像提供給MVC編碼器12。MVC編碼器12根據MVC模式在由成像單元IlA提供的圖像A被設定為基礎圖像并且由成像單元IlB提供的圖像B被設定為依賴圖像的情況下進行編碼。MVC編碼器12將編碼后的圖像A和圖像B提供給復用單元13。復用單元13基于編碼后的圖像A生成第一 TS (傳送流)(在下文中，稱為TS1)，基于編碼后的圖像B生成第二 TS (在下文中，稱為TS2)，并且對TSl和TS2進行復用。由解碼裝置對復用后的TSl和TS2進行分離，并且根據與MVC模式對應的模式對編碼后的圖像A和編碼后的圖像B進行解碼。然后，由于解碼而獲取的圖像A和圖像B被交替地顯示。此時，觀看者例如佩戴上其左眼快門在顯示圖像A時打開而其右眼快門在顯示圖像B時打開的眼鏡，只使用左眼來觀看圖像A并只使用右眼來觀看圖像B。這樣，觀看者就可以看到3D圖像。在想要顯示2D圖像的情況下，只顯示圖像A就可以了。與此同時，還設計出了對多視點圖像進行編碼的模式(例如，見專利文件I)。引用列表專利文件專利文件1:日本公開特開第2008-182669號
技術實現思路
本專利技術將要解決的問題然而，未考慮對多視點圖像進行編碼和解碼的、與用于兩個或更少的視點的圖像的現有模式有兼容性的模式。鑒于這種情況，構思出本技術，其使得能夠根據與現有模式兼容的模式對多視點圖像進行編碼和解碼。問題的解決方案根據本技術的第一方面的編碼裝置包括:兼容圖像編碼單元，用于通過從多視點圖像中指定兼容圖像并以訪問單元為單位對所指定的兼容圖像進行編碼來生成第一編碼流；輔助圖像編碼單元，用于通過以訪問單元為單位對當根據兼容圖像生成多視點圖像時使用的輔助圖像進行編碼來生成第二編碼流；設定單元，用于對表示單元的邊界的邊界信息進行設定；以及發送單元，用于發送由兼容圖像編碼單元生成的第一編碼流、由設定單元設定的邊界信息以及由輔助圖像編碼單元編碼的第二編碼流。根據本技術的第一方面的編碼方法對應于根據本技術的第一方面的編碼裝置。在本技術的第一方面中，通過從多視點圖像中指定兼容圖像并以訪問單元為單位對所指定的兼容圖像進行編碼來生成第一編碼流；通過以訪問單元為單位對當根據兼容圖像生成多視點圖像時使用的輔助圖像進行編碼來生成第二編碼流；對表示單元的邊界的邊界信息進行設定，并且發送第一編碼流、邊界信息以及第二編碼流。根據本技術的第二方面的解碼裝置包括:分離單元，用于接收由于以訪問單元為單位對從多視點圖像中指定的兼容圖像進行編碼而獲取的第一編碼流、表示單元的邊界的邊界信息、以及由于以訪問單元為單位對當根據兼容圖像生成多視點圖像時使用的輔助圖像進行編碼而獲取的第二編碼流，并且基于邊界信息來分離第一編碼流和第二編碼流；兼容圖像解碼單元，用于對通過分離單元分離的第一編碼流進行解碼；以及輔助圖像解碼單元，用于對通過分離單元分離的第二編碼流進行解碼。根據本技術的第二方面的解碼方法對應于根據本技術的第二方面的解碼裝置。在本技術的第二方面中，接收由于以訪問單元為單位對從多視點圖像中指定的兼容圖像進行編碼而獲取的第一編碼流、表示單元的邊界的邊界信息以及由于以訪問單元為單位對當根據兼容圖像生成多視點圖像時所使用的輔助圖像進行編碼而獲取的第二編碼流，并且基于邊界信息來分離第一編碼流和第二編碼流；對分離的第一編碼流進行解碼，并且對分離的第二編碼流進行解碼。另外，可以通過使計算機執行程序來實現根據第一方面的編碼裝置和根據第二方面的解碼裝置。此外，可以提供由計算機執行以實現根據第一方面的編碼裝置和根據第二方面的解碼裝置的程序，同時程序可以在通過傳輸介質被發送或被記錄在記錄介質上。本專利技術的效果根據本技術的第一方面，可以用具有與現有模式的兼容性的模式對多視點圖像進行編碼。另外，根據本技術的第二方面，可以用具有與現有模式的兼容性的模式對經編碼的多視點圖像進行解碼。附圖說明圖1是示出傳統的編碼裝置的示例的圖。圖2是示出根據本技術的第一實施例的編碼裝置的配置示例的框圖。圖3是示出由圖2中所示的復用單元生成的TS的配置示例的圖。圖4是示出圖3中所示的TS2的詳細的配置示例的圖。圖5是示出對TSl和TS2進行復用的方法的示例的圖。圖6是示出由圖2中所示的編碼裝置執行的編碼處理的流程圖。圖7是示出由圖2中所示的編碼裝置執行的編碼處理的流程圖。圖8是示出與圖2中所示的編碼裝置對應的解碼裝置的配置示例的圖。圖9是示出由圖8中所示的解碼裝置執行的解碼處理的流程圖。圖10是示出由圖2中所示的復用單元生成的TS的另一配置示例的圖。圖11是示出圖10中所示的TS2的詳細的配置示例的圖。圖12是示出圖10中所示的TS3的詳細示例的圖。圖13是示出由圖8中所示的解碼裝置執行的另一解碼處理的流程圖。圖14是示出根據本技術的第二實施例的編碼裝置的配置示例的框圖。圖15是示出由圖14中所示的復用單元生成的TS的配置示例的圖。圖16是示出由圖14中所示的編碼裝置執行的編碼處理的流程圖。圖17是示出由圖14中所示的編碼裝置執行的編碼處理的流程圖。圖18是示出與圖14中所示的編碼裝置對應的解碼裝置的配置示例的圖。圖19是示出由圖18中所示的解碼裝置執行的解碼處理的流程圖。圖20是示出由圖14中所示的復用單元生成的TS的另一配置示例的圖。圖21是示出由圖本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】2010.09.03 JP 2010-198351;2011.06.13 JP 2011-131671.一種編碼裝置，包括: 兼容圖像編碼單元，用于通過從多視點圖像中指定兼容圖像并以訪問單元為單位對所指定的所述兼容圖像進行編碼來生成第一編碼流； 輔助圖像編碼單元，用于通過以訪問單元為單位對當根據所述兼容圖像生成多視點圖像時使用的輔助圖像進行編碼來生成第二編碼流； 設定單元，用于對表示單元的邊界的邊界信息進行設定；以及 發送單元，用于發送由所述兼容圖像編碼單元生成的所述第一編碼流、由所述設定單元設定的所述邊界信息以及由所述輔助圖像編碼單元編碼的所述第二編碼流。2.根據權利要求1所述的編碼裝置，其中，所述發送單元將由所述設定單元設定的所述邊界信息添加至所述第二編碼流。3.根據權利要求2所述的編碼裝置，其中，所述發送單元將由所述設定單元設定的所述邊界信息添加至所述第二編碼流的訪問單元的頭部。4.根據權利要求3所述的編碼裝置，其中，在所述兼容圖像為雙視點圖像的情況下，所述第一編碼流由經編碼的所述兼容圖像中的一個視點的圖像形成，所述第二編碼流由另一個視點的圖像和經編碼的所述輔助圖像形成。5.根據權利要求1所述的編碼裝置，還包括輔助信息編碼單元，用于通過對當根據所述兼容圖像和所述輔助圖像 生成多視點圖像時使用的輔助信息進行編碼來生成第三編碼流，其中: 所述設定單元設定所述輔助信息；以及 所述發送單元發送由所述輔助信息編碼單元生成的所述第三編碼流。6.根據權利要求5所述的編碼裝置，其中，所述發送單元將由所述設定單元設定的所述邊界信息添加至所述第三編碼流。7.根據權利要求6所述的編碼裝置，其中，所述發送單元將由所述設定單元設定的所述邊界信息添加至所述第三編碼流的訪問單元的頭部。8.根據權利要求1所述的編碼裝置，還包括視差編碼單元，用于通過對表示所述兼容圖像的視差的兼容視差圖像進行編碼來生成第一視差編碼流，并且通過對表示所述輔助圖像的視差的輔助視差圖像進行編碼來生成第二視差編碼流，其中: 所述發送單元發送由所述視差編碼單元生成的所述第一視差編碼流和所述第二視差編碼流。9.根據權利要求8所述的編碼裝置，其中，所述發送單元將所述第二編碼流、所述第一視差編碼流以及所述第二視差編碼流分別設定為所述單元并將所述邊界信息添加至所設定的所述單元。10.根據權利要求8所述的編碼裝置，其中，所述發送單元將所述第二編碼流、所述第一視差編碼流以及所述第二視差編碼流一起設定為所述單元并將所述邊界信息添加至所設定的所述單元。11.根據權利要求8所述的編碼裝置，其中，所述發送單元將所述第二編碼流設定為所述單元以及將第一和第二視差編碼流設定為所述單元，并將所述邊界信息添加至所設定的所述單元。12.根據權利要求8所述的編碼裝置，其中:所述設定單元設定表示視差圖像的視差識別信息；以及 所述發送單元將由所述設定單元設定的所述邊界信息和所述視差識別信息添加至所述第一視差編碼流和所述第二視差編碼流。13.根據權利要求12所述的編碼裝置，其中: 所述設定單元對用于識別所述兼容圖像的兼容圖像識別信息和用于識別所述輔助圖像的輔助圖像識別信息進行設定；以及 所述發送單元將所述兼容圖像識別信息添加至所述第一視差編碼流并且將所述輔助圖像識別信息添加至所述第二視差編碼流。14.根據權利要求12所述的編碼裝置，其中: 所述設定單元對表示所述視差圖像的每個像素的視差值被歸一化的歸一化識別信息進行設定；以及 所述發送單元對通過所述設定單元設定的所述歸一化識別信息進行發送。15.一種通過編碼裝置執行的編碼方法，所述方法包括: 兼容圖像編碼步驟，通過從多視點圖像中指定兼容圖像并以訪問單元為單位對所指定的所述兼容圖像進行編碼來生成第一編碼流； 輔助圖像編碼步驟，通過 以訪問單元為單位對當根據所述兼容圖像生成多視點圖像時使用的輔助圖像進行編碼來生成第二編碼流； 設定步驟，對表示單元的邊界的邊界信息進行設定；以及...

【專利技術屬性】
技術研發人員：服部忍，高橋良知，
申請(專利權)人：索尼公司，
類型：
國別省市：