攝像裝置及其控制方法制造方法及圖紙

本發(fā)明專利技術(shù)提供攝像裝置及其控制方法。攝像元件包括通過(guò)微鏡頭針對(duì)各像素輸出圖像信號(hào)的多個(gè)光電轉(zhuǎn)換單元。攝像信號(hào)處理電路將從所述攝像元件輸出的圖像信號(hào)分成左眼圖像信號(hào)和右眼圖像信號(hào)。圖像合成電路通過(guò)對(duì)左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行算術(shù)平均處理來(lái)生成合成圖像數(shù)據(jù)。記錄介質(zhì)控制I/F單元進(jìn)行控制以將用在3D顯示中的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及用在2D顯示中的合成圖像數(shù)據(jù)記錄在圖像文件中的不同區(qū)域中。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及攝像裝置，尤其涉及將用于三維顯示(在下文中也稱為“3D顯示”)的圖像數(shù)據(jù)以及用于二維顯示(在下文中也稱為“2D顯示”)的圖像數(shù)據(jù)記錄在文件中的處理。
技術(shù)介紹
近年來(lái)，諸如三維(3D)影院、3D顯示器等的與立體圖像相關(guān)聯(lián)的設(shè)備在急速普及。傳統(tǒng)上，通過(guò)膠片照相機(jī)等執(zhí)行立體圖像的攝影。然而，隨著數(shù)字?jǐn)z像裝置的普及，利用數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)等進(jìn)行用于生成立體圖像的原始圖像的攝影變得普遍。作為用戶藉以觀看立體圖像的機(jī)制，準(zhǔn)備針對(duì)右眼圖像的數(shù)據(jù)以及左眼圖像的數(shù)據(jù)(在左右方向上具有視差)，使得對(duì)應(yīng)于用左眼觀看的被攝體的圖像以及用右眼觀看的被攝體的圖像。用戶可以通過(guò)分別用其右眼及左眼觀看右眼圖像及左眼圖像來(lái)觀看立體圖像。這種方法的示例包括用于劃分要觀看的視差圖像的方法，諸如視差屏障(parallaxbarrier)方法、透鏡方法 等。另外，已知用于經(jīng)由在其左側(cè)和右側(cè)之間具有不同特性的濾波器來(lái)向用戶的左眼和右眼提供不同圖像的方法。另一方面，作為用于拍攝可作為立體圖像觀看的圖像的方法，日本專利特開(kāi)昭58-24105號(hào)公報(bào)公開(kāi)了用于以不同視角同時(shí)拍攝圖像的方法。日本專利特開(kāi)昭58-24105號(hào)公報(bào)公開(kāi)了一種固態(tài)攝像元件，其中形成有多個(gè)微鏡頭，并且靠近各個(gè)微鏡頭布置有至少一對(duì)光電二極管。在這對(duì)光電二極管中，由一個(gè)光電二極管的輸出獲得第一圖像信號(hào)，由另一光電二極管的輸出獲得第二圖像信號(hào)。用戶可以分別利用第一和第二圖像信號(hào)作為左眼圖像信號(hào)和右眼圖像信號(hào)來(lái)觀看立體圖像。盡管左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)可以作為獨(dú)立文件被管理，但是針對(duì)圖像數(shù)據(jù)的管理可能會(huì)發(fā)生以下情形。換言之，作為獨(dú)立文件的圖像數(shù)據(jù)的管理變得復(fù)雜，并且如果一個(gè)文件丟失，則無(wú)法觀看立體圖像。因此，在日本專利特開(kāi)2010-200354號(hào)公報(bào)中公開(kāi)的文件生成方法中，左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)被記錄在相同文件中，由此能夠?qū)崿F(xiàn)有效的文件管理。在這種情況下，左眼圖像或右眼圖像用于二維顯示，而左眼圖像和右眼圖像的二者用于三維顯示。日本專利特開(kāi)2008-518317號(hào)公報(bào)公開(kāi)了具有這樣的輸出要素的輸出視差圖，所述輸出要素具有對(duì)應(yīng)于要應(yīng)用于第一圖像的各像素的偏移的輸出值。可以基于輸出視差圖和第一圖像來(lái)生成第二圖像。該計(jì)算是基于具有輸入要素(各自具有輸入值)的輸入視差圖，并且可以利用輸入圖像和視差圖來(lái)生成第二圖像，從而繪制多視點(diǎn)圖像。假設(shè)利用日本專利特開(kāi)昭58-24105號(hào)公報(bào)中公開(kāi)的其中形成有多個(gè)微鏡頭并且靠近各個(gè)微鏡頭布置有至少一對(duì)光電二極管的固態(tài)攝像元件，來(lái)進(jìn)行攝影的情況。在固態(tài)攝像元件中，一對(duì)光電二極管中的一個(gè)輸出通過(guò)對(duì)已經(jīng)通過(guò)攝像光學(xué)系統(tǒng)的出射光瞳的區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換而獲得的左眼圖像信號(hào)，而另一個(gè)輸出通過(guò)對(duì)已經(jīng)通過(guò)與前述的出射光瞳的區(qū)域不同的區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換而獲得的右眼圖像信號(hào)。在這種情況下，依據(jù)被攝體的類型，左眼圖像或右眼圖像均不可能是反映被攝體的形狀的圖像。例如，在其中以模糊方式對(duì)來(lái)自點(diǎn)光源的光攝影的攝影場(chǎng)景中，原本拍攝到的應(yīng)當(dāng)是呈圓形圖案模糊的光源的照片。然而，當(dāng)通過(guò)日本專利特開(kāi)昭58-24105號(hào)公報(bào)中公開(kāi)的固態(tài)攝像元件拍攝圖像時(shí)，拍攝的圖像可以是不反映被攝體的形狀的半圓形或橢圓形。此外，例如，如左眼圖像中的被攝體的左半部分丟失、而右眼圖像中的被攝體的右半部分丟失這樣的，在左眼圖像與右眼圖像中，作為圖像拍攝的被攝體的形狀不同。這是由于，在從攝像光學(xué)系統(tǒng)的出射光瞳發(fā)出的光通量中，由光電二極管接收的光的區(qū)域沿用作邊界的光軸不同。即使利用日本專利特開(kāi)2010-200354號(hào)公報(bào)中公開(kāi)的技術(shù)生成這種左眼圖像數(shù)據(jù)以及右眼圖像數(shù)據(jù)作為一個(gè)文件，攝像裝置也可能在圖像回放時(shí)顯示具有不正確形狀的二維圖像。此外，即使試圖利用日本專利特開(kāi)2008-518317號(hào)公報(bào)中公開(kāi)的技術(shù)來(lái)計(jì)算第二圖像，也無(wú)法獲得反映被攝體的正確形狀的圖像。換言之，原始圖像被攝影為與實(shí)際被攝體的形狀不同的形狀，因此，計(jì)算的第二圖像無(wú)法被再現(xiàn)為正確圖像。當(dāng)使用視差圖時(shí)，需要根據(jù)與通常使用的應(yīng)用兼容的文件格式來(lái)創(chuàng)建圖像文件。當(dāng)分別創(chuàng)建包括視差圖數(shù)據(jù)的文件以及包括圖像數(shù)據(jù)的文件時(shí)，需要管理多個(gè)文件。考慮到用戶的文件管理的實(shí)用性，優(yōu)選這兩個(gè)數(shù)據(jù)被包括在單個(gè)文件中。
技術(shù)實(shí)現(xiàn)思路
因此，本專利技術(shù)提供一種攝像裝置，其通過(guò)將用在二維顯示中的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)以及用在二維顯示中的反映被攝體的正確形狀的圖像數(shù)據(jù)記錄在相同文件中而增強(qiáng)了再現(xiàn)圖像的可再現(xiàn)性。另外，本專利技術(shù)提供了一種即使在二維顯示或三維顯示的情況下也能夠使用圖像文件中包括的圖像數(shù)據(jù)和視差圖來(lái)再現(xiàn)反映被攝體的正確形狀的圖像的攝像裝置。根據(jù)本專利技術(shù)的一方面，提供了一種攝像裝置，其具有包括多個(gè)光電轉(zhuǎn)換單元的攝像元件，所述多個(gè)光電轉(zhuǎn)換單元被構(gòu)造為通過(guò)對(duì)分別通過(guò)攝像光學(xué)系統(tǒng)的出射光瞳的不同區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換來(lái)輸出多個(gè)圖像信號(hào)，并且所述攝像裝置通過(guò)所述攝像元件處理所述多個(gè)圖像信號(hào)來(lái)將數(shù)據(jù)記錄在圖像文件中。該攝像裝置包括信號(hào)處理單元，其被構(gòu)造為由從所述攝像元件輸出的所述圖像信號(hào)來(lái)獲取左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且通過(guò)對(duì)所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)進(jìn)行加法合成來(lái)生成用于二維顯示的合成圖像數(shù)據(jù)；以及記錄控制單元，其被構(gòu)造為進(jìn)行控制，以將由所述信號(hào)處理單元生成的所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)以及所述合成圖像數(shù)據(jù)記錄在所述圖像文件的不同區(qū)域中。本專利技術(shù)的其他特征將通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述變得清楚。附圖說(shuō)明圖1是示意性地例示根據(jù)本專利技術(shù)的實(shí)施例的攝像元件的一般結(jié)構(gòu)的圖。圖2A是例示攝像元件的一個(gè)像素的結(jié)構(gòu)的圖。 圖2B是例示攝像元件的多個(gè)像素的示例性結(jié)構(gòu)的圖。圖3是例示從攝影鏡頭的出射光瞳發(fā)射的光通量如何進(jìn)入攝像元件的概念圖。圖4是例示根據(jù)本專利技術(shù)的實(shí)施例的攝像裝置的示例性結(jié)構(gòu)的圖。圖5是例示根據(jù)本專利技術(shù)的第一實(shí)施例的文件結(jié)構(gòu)的示例的圖。圖6是例示根據(jù)本專利技術(shù)的第一實(shí)施例的文件生成處理的示例的流程圖。圖7是例示根據(jù)本專利技術(shù)的第一實(shí)施例的文件生成處理的另一示例的流程圖。圖8是例示根據(jù)本專利技術(shù)的第一實(shí)施例的文件結(jié)構(gòu)的另一示例的圖。圖9是例示根據(jù)本專利技術(shù)的第一實(shí)施例的文件結(jié)構(gòu)的另一示例的圖。圖10是例示根據(jù)本專利技術(shù)的第二實(shí)施例的攝像裝置的示例性結(jié)構(gòu)的圖。圖1lA至圖1lC是例示視差圖生成處理的示例的圖。圖12是示意性地例示視差圖的圖。圖13是例示典型DCF圖像文件結(jié)構(gòu)的示例的圖。 圖14是例示從攝影開(kāi)始至圖像文件記錄為止的處理的流程圖。圖15是例示圖像文件創(chuàng)建處理的流程圖。圖16是例不視差圖生成處理的流程圖。圖17是例示另一圖像文件結(jié)構(gòu)的圖。圖18是例不視差圖生成處理的流程圖。圖19是例示包括RAW圖像數(shù)據(jù)的圖像文件的文件結(jié)構(gòu)的圖。圖20是例不視差圖生成處理的流程圖。圖21是例示典型DCF圖像文件結(jié)構(gòu)的示例的圖。圖22是例示具有左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)的圖像文件的圖。圖23是例示具有視差圖的圖像文件的圖。圖24是例示DCF圖像文件再現(xiàn)處理的流程圖。圖25是例示2D顯示圖像再現(xiàn)處理的流程圖。圖26是例示3D顯示圖像再現(xiàn)處理的流程圖。圖27是例示左/右圖像3D再現(xiàn)處理的流程圖。圖28是例示視差圖3D再現(xiàn)處理的流程圖。具體實(shí)施例方式圖1是示意性地例示根據(jù)本發(fā)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種攝像裝置，其具有包括多個(gè)光電轉(zhuǎn)換單元的攝像元件，所述多個(gè)光電轉(zhuǎn)換單元被構(gòu)造為通過(guò)對(duì)分別通過(guò)攝像光學(xué)系統(tǒng)的出射光瞳的不同區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換來(lái)輸出多個(gè)圖像信號(hào)，并且所述攝像裝置通過(guò)所述攝像元件處理所述多個(gè)圖像信號(hào)而將數(shù)據(jù)記錄在圖像文件中，該攝像裝置包括：信號(hào)處理單元，其被構(gòu)造為由從所述攝像元件輸出的所述圖像信號(hào)來(lái)獲取左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且通過(guò)對(duì)所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)進(jìn)行加法合成來(lái)生成用于二維顯示的合成圖像數(shù)據(jù)；以及記錄控制單元，其被構(gòu)造為進(jìn)行控制，以將所述信號(hào)處理單元生成的所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)以及所述合成圖像數(shù)據(jù)記錄在所述圖像文件的不同區(qū)域中。

【技術(shù)特征摘要】
2011.10.04 JP 2011-220409;2011.12.02 JP 2011-26421.一種攝像裝置，其具有包括多個(gè)光電轉(zhuǎn)換單元的攝像元件，所述多個(gè)光電轉(zhuǎn)換單元被構(gòu)造為通過(guò)對(duì)分別通過(guò)攝像光學(xué)系統(tǒng)的出射光瞳的不同區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換來(lái)輸出多個(gè)圖像信號(hào)，并且所述攝像裝置通過(guò)所述攝像元件處理所述多個(gè)圖像信號(hào)而將數(shù)據(jù)記錄在圖像文件中，該攝像裝置包括 信號(hào)處理單元，其被構(gòu)造為由從所述攝像元件輸出的所述圖像信號(hào)來(lái)獲取左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且通過(guò)對(duì)所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)進(jìn)行加法合成來(lái)生成用于二維顯示的合成圖像數(shù)據(jù)；以及 記錄控制單元，其被構(gòu)造為進(jìn)行控制，以將所述信號(hào)處理單元生成的所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)以及所述合成圖像數(shù)據(jù)記錄在所述圖像文件的不同區(qū)域中。2.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述信號(hào)處理單元包括 攝像信號(hào)處理單元，其被構(gòu)造為將從所述攝像元件輸出的所述圖像信號(hào)分成左眼圖像的信號(hào)以及右眼圖像的信號(hào)；以及 圖像合成單元，其被構(gòu)造為通過(guò)針對(duì)從所述攝像信號(hào)處理單元輸出的所述左眼圖像數(shù)據(jù)以及所述右眼圖像數(shù)據(jù)的算術(shù)平均處理來(lái)生成所述合成圖像數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的攝像裝置，其中，當(dāng)創(chuàng)建所述圖像文件的頭部分時(shí)，所述記錄 控制單元計(jì)算用于指定存儲(chǔ)所述左眼圖像數(shù)據(jù)的區(qū)域的偏移信息、用于指定存儲(chǔ)所述右眼圖像數(shù)據(jù)的區(qū)域的偏移信息、用于指定存儲(chǔ)所述合成圖像數(shù)據(jù)的區(qū)域的偏移信息，并且通過(guò)將所述偏移信息包括在所述頭部分中來(lái)生成所述圖像文件。4.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述記錄控制單元進(jìn)行控制，以將由從所述多個(gè)光電轉(zhuǎn)換單元輸出的圖像信號(hào)獲得的圖像數(shù)據(jù)記錄在所述圖像文件的與用于存儲(chǔ)所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)和所述合成圖像數(shù)據(jù)的區(qū)域不同的區(qū)域中。5.根據(jù)權(quán)利要求4所述的攝像裝置，其中，所述記錄控制單元進(jìn)行控制，以將由從所述多個(gè)光電轉(zhuǎn)換單元輸出的圖像信號(hào)獲得的、圖像處理前的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)記錄在所述圖像文件的不同區(qū)域中。6.根據(jù)權(quán)利要求4所述的攝像裝置，其中，當(dāng)創(chuàng)建所述圖像文件的頭部分時(shí)，所述記錄控制單元通過(guò)將用于指定存儲(chǔ)由從所述多個(gè)光電轉(zhuǎn)換單元輸出的圖像信號(hào)獲得的圖像數(shù)據(jù)的區(qū)域的偏移信息包括在所述頭部分中，來(lái)生成所述圖像文件。7.一種由攝像裝置執(zhí)行的控制方法，所述攝像裝置具有包括多個(gè)光電轉(zhuǎn)換單元的攝像元件，所述多個(gè)光電轉(zhuǎn)換單元被構(gòu)造為通過(guò)對(duì)分別通過(guò)攝像光學(xué)系統(tǒng)的出射光瞳的不同區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換來(lái)輸出多個(gè)圖像信號(hào)，并且所述攝像裝置通過(guò)所述攝像元件處理所述多個(gè)圖像信號(hào)而將數(shù)據(jù)記錄在圖像文件中，該控制方法包括以下步驟 由從所述攝像元件輸出的所述圖像信號(hào)來(lái)獲取左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)； 通過(guò)對(duì)所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)進(jìn)行加法合成來(lái)生成用于二維顯示的合成圖像數(shù)據(jù)；以及 進(jìn)行控制以將所述左眼圖像數(shù)據(jù)、所述右眼圖像數(shù)據(jù)以及所述合成圖像數(shù)據(jù)記錄在所述圖像文件的不同區(qū)域中。8.一種攝像裝置，其具有包括多個(gè)光電轉(zhuǎn)換單元的攝像元件，所述多個(gè)光電轉(zhuǎn)換單元被構(gòu)造為通過(guò)對(duì)分別通過(guò)攝像光學(xué)系統(tǒng)的出射光瞳的不同區(qū)域的光通量進(jìn)行光電轉(zhuǎn)換來(lái)輸出多個(gè)圖像信號(hào)，并且所述攝像裝置通過(guò)所述攝像元件處理所述多個(gè)圖像信號(hào)來(lái)將處理后的圖像信號(hào)記錄在記錄介質(zhì)中，該攝像裝置包括 圖像合成單元，其被構(gòu)造為由從所述攝像元件輸出的圖像信號(hào)來(lái)獲取左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)，并且通過(guò)對(duì)所述左眼圖像數(shù)據(jù)和所述右眼圖像數(shù)據(jù)進(jìn)行加法合成來(lái)生成用于二維顯示的合成圖像數(shù)據(jù)； 視差圖生成單元，其被構(gòu)造為由所述左眼圖像數(shù)據(jù)及所述右眼圖像數(shù)據(jù)來(lái)生成視差圖數(shù)據(jù)；以及 記錄控制單元，其被構(gòu)造為進(jìn)行控制，以創(chuàng)建圖像文件并將所述圖像文件記錄在所述記錄介質(zhì)中，其中在所述圖像文件中由所述圖像合成單元生成的所述合成圖像數(shù)據(jù)以及由所述視差圖生成單元生成的所述視差圖數(shù)據(jù)被包括在不同的區(qū)域中。9.根據(jù)權(quán)利要求8所述的攝像裝置，其中，所述記錄控制單元根據(jù)符合DCF標(biāo)準(zhǔn)的文件格式來(lái)創(chuàng)建包括所述視差圖數(shù)據(jù)的圖像文件。10.根據(jù)權(quán)利要求8所述的攝像裝置，其中，所述圖像合成單元通過(guò)對(duì)用在縮小圖像顯示中的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行加法合成來(lái)生成用于二維顯示的合成圖像數(shù)據(jù)， 其中，所述視差圖生成單元由用在針對(duì)三維顯示的縮小圖像顯示中的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)來(lái)生成視差圖數(shù)據(jù)，以及 其中，所述記錄控制單元進(jìn)行控制，以創(chuàng)建包括用在所述縮小圖像顯示中的合成圖像數(shù)據(jù)和視差圖數(shù)據(jù)的圖像文件，并將所述圖像文件記錄在所述記錄介質(zhì)中。11.根據(jù)權(quán)利要求8所述的攝像裝置，其中，所述記錄控制單元進(jìn)行控制，以創(chuàng)建由從所述多個(gè)光電轉(zhuǎn)換單元輸出的圖像信號(hào)獲得的、圖像處理前的圖像數(shù)據(jù)被包括在與包括由所述圖像合成單元生成的合成圖像數(shù)據(jù)的區(qū)域不同的區(qū)域中的圖像文件，并將所述圖像文件記錄在所述記錄介質(zhì)中。12.根據(jù)權(quán)利要求11所述的攝像裝置，其中，當(dāng)創(chuàng)建包括作為對(duì)由從所述多個(gè)光電轉(zhuǎn)換單元輸出的圖像信號(hào)獲得的、圖像處理前的左眼圖像數(shù)據(jù)和右眼圖像數(shù)據(jù)進(jìn)行加法合成的結(jié)果而獲得的合成圖像數(shù)據(jù)的圖...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：新谷拓也，青山祐三，中濱孝之，
申請(qǐng)(專利權(quán))人：佳能株式會(huì)社，
類型：發(fā)明
國(guó)別省市：