本發明專利技術提供一種攝像裝置、圖像處理裝置、圖像處理方法及圖像處理程序。攝像裝置生成減少了因攝像時的手抖動所引起的模糊的復原圖像。攝像裝置具備攝像元件(10)、光學系統(20)、和對由攝像元件(10)獲取到的圖像信號進行處理的圖像處理部(220)。圖像處理部(220)具有：模糊核決定部，其決定對所獲取到的圖像的因手抖動所引起的模糊進行規定的模糊核；和圖像復原部，其生成復原圖像。模糊核決定部基于光學系統(20)的變焦倍率等給圖像的模糊的程度帶來影響的信息來改變模糊核的尺寸。
【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及生成減少了因攝像時的手抖動所引起的模糊的復原圖像的攝像裝置、圖像處理裝置、圖像處理方法及圖像處理程序。
技術介紹
若由數碼相機獲取圖像(攝像)，則由于CO)(Charge-CoupledDevice)或者CMOS的讀出電路的特性、傳輸路線的特性會在圖像中添加噪聲。另外，會產生因在攝像時沒有對焦(焦點偏離out-of-focus)所引起的圖像的模糊(模糊blur)、因手抖動(camerashake)等所引起的圖像的模糊。由此，在攝像圖像中，在因攝像圖像固有的特性所引起的噪聲之中會添加以攝影時的人為操作為起因的模糊，從而導致圖像劣化。有時將這些“模糊”之中的、攝影(曝光)中的因照相機的運動所引起的圖像的模糊稱作“運動模糊(motionblur)”。 近年來，尤其隨著高靈敏度攝影的需求的增大，而需要將因模糊導致劣化后的圖像(以下稱為“劣化圖像”)復原到盡可能接近于原始圖像(以下稱為“理想圖像”)的圖像。為了實現高靈敏度攝影要求的明亮且沒有噪聲、模糊的圖像，大致有提高靈敏度的觀點和增長曝光時間的觀點。然而,若提高靈敏度,則噪聲也會被放大，因而信號會被埋在噪聲中從而成為噪聲占大半的圖像這樣的情況居多。另一方面，通過增長曝光時間，在此處產生的光將蓄積得較多，從而得到噪聲少的圖像。在該情況下，雖然信號不會被噪聲埋沒，但是卻存在下述問題由于手抖動，使得在圖像中容易產生運動模糊。因此，以往采取了用兩種觀點增長曝光時間時的應對方法。一種方法為透鏡移位、傳感器移位這樣的光學式手抖動補償。另一種方法為利用所獲得的圖像、傳感器求出運動模糊的方向/大小，此后利用信號處理來復原圖像的方法(基于信號處理的復原方法)。在光學式手抖動補償中，補償的范圍存在限制。若增長曝光時間，則由于容易產生手抖動，因而需要增大透鏡、傳感器的工作范圍。但是，若工作范圍變大，則存在著在透鏡、傳感器移動時產生時間延遲這樣的問題。另外，在大型化方面存在尺寸的物理限制。基于信號處理的復原方法例如已經被專利文獻I、非專利文獻I、非專利文獻2等公開。以下，說明基于信號處理的復原方法。在此，假設用I (x，y)來表示在攝像元件的攝像面所形成的圖像的亮度分布。坐標(x，y)為表示攝像面的像素(光感測單元)的位置的2維坐標。在圖像例如由被排列成矩陣狀的MXN個像素構成的情況下，若假設X以及y分別為滿足O彡X彡M-I以及O彡y彡N-I關系的整數，則能夠利用坐標(x，y)來確定構成圖像的各個像素的位置。在此，假設將坐標的原點(0，0)置于圖像的左上角，X軸沿著垂直方向延伸，y軸沿著水平方向延伸。其中，坐標的取法是任意的。若將沒有模糊(blur)的圖像(理想圖像或源圖像)的亮度分布設為L(x，y)，將對模糊進行規定的PSF即“點擴散函數(Point Spread Function) ”設為PSF (x, y)，將噪聲設為n (x，y)，則以下的式I成立。 I (x, y) = PSF (x, y) *L (x, y) +n (x, y)(式 I)其中，記號表示2維的卷積運算(convolution)。手抖動的點擴散函數PSF(X，y)依賴于攝影(曝光)中的手抖動的軌跡。由于手抖動的軌跡因每次照相機的攝影而不同，因而PSF(X，y)也因每次照相機攝影而變化。利用陀螺儀傳感器等檢測攝影中的手抖動的軌跡，在PSF(x，y)為已知的情況下，通過使用該PSF(x,y)來進行反卷積運算(deconvolution),從而可以從劣化圖像I (x,y)來復原圖像L(x,y)。另一方面,在PSF(x, y)為未知的情況下,需要根據劣化圖像I (x, y)來推測PSF (x,y)進而復原圖像L (x，y)。將前者稱為“非盲 反卷積”，將后者稱為“盲 反·卷積”。在盲 反卷積中，由于需要根據劣化圖像I (x，y)來推測PSF (x,y)以及圖像L(x，y)雙方，因而與非盲·反卷積相比難以降低模糊。對因手抖動所引起的模糊進行規定的PSF的卷積運算是由線性濾波器進行的。2維卷積運算的線性濾波器，通常利用由具有NXN像素的尺寸的系數矩陣構成的積分核(核)來表現。其中，N為3以上的整數。對模糊進行規定的PSF可利用模糊核(blur kernel)來表現。為了根據有模糊的圖像來復原減低了模糊的圖像(包括去除了模糊后的圖像)，需要推測對模糊進行規定的模糊核。作為基于信號處理的圖像復原，例如非專利文獻I公開了 在根據有模糊的I枚圖像來推測模糊核以及復原圖像的情況下使用多尺度推測法(multi-scale inferencescheme)。在該多尺度推測法中，最初使用分辨率低的劣化圖像來推測具有3X3像素的尺寸的模糊核。然后，通過逐漸提高在推測中所用的劣化圖像的分辨率，從而模糊核的分辨率也得以提高。圖18(a) (h)是用于說明在非專利文獻I中公開的方法的圖。圖18(a)的上半部分示出3X3像素的模糊核，下半部分示出所對應的分辨率的復原圖像。圖18(b) (h)也同樣,分辨率逐漸提高。在分辨率低的劣化圖像中，由于像素數少，因而因手抖動所引起的模糊的像素尺寸也變小。其結果，在分辨率低的劣化圖像中，模糊核的尺寸也變小，推測模糊核所需的計算量也變少。另外，若從最初開始便使用像素數大的高分辨率的劣化圖像來進行模糊核的推測，貝1J會在不同于真正模糊核的模糊核(局部解local minima)產生收斂。由此,根據多尺度推測法能夠提高模糊核的推測精度。現有技術文獻專利文獻專利文獻I :日本特開2009-111596號公報非專利文獻非專利文獻I :Rob Fergus et al. , " Removing camera shake from asingleimage" ，Barun Singh Aaron Hertzmann，SIGGRAPH 2006非專利文獻2 : " High-quality Motion Deblurring from a Single Image"，Qi Shan, Jiaya Jia，and Aseem Agarwala, SIGGRAPH 2008
技術實現思路
專利技術要解決的技術問題根據在非專利文獻1、2中公開的方法，最終的模糊核的尺寸預先被設定為固定值。因而，為了對運動模糊的程度大的劣化圖像正確地進行復原處理，需要預先將模糊核的尺寸設定為較大的值。然而包括超過了所設定的模糊核的尺寸這樣的較大運動模糊在內的劣化圖像卻無法正確地復原。尤其，較之為了拍攝遠處的被攝體而增大光學系統的變焦倍率(或焦點距離)的情況、變焦倍率小的情況，圖像的運動模糊的程度會變大。因此，在為了拍攝遠處的場景而增大變焦倍率的情況下，需要將模糊核的尺寸預先設定為較大的值。其中，本說明書中的“變焦倍率”是指，攝影時的焦點距離相對于攝像裝置中的光學系統的最小(廣角側)焦點距離的比例。因此，假設在攝影時的焦點距離為最小焦點距離時，變焦倍率為I倍。本說明書中的“變焦倍率”并非是指，一般采用的望遠側的焦點距離相對于廣角側的焦點距離的比例。 另外，在黑暗環境中進行拍攝時，為了確保充分的受光量，需要增長曝光時間。但是，若增長曝光時間，則因照相機的運動所引起的圖像的運動模糊的程度一般會變大。因此，為了拍攝黑暗場景而增長曝光時間本文檔來自技高網...
【技術保護點】
【技術特征摘要】
【國外來華專利技術】...
【專利技術屬性】
技術研發人員：石井育規，物部祐亮，
申請(專利權)人：松下電器產業株式會社，
類型：
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。