圖像處理裝置、攝影系統、圖像處理方法制造方法及圖紙

本發明專利技術涉及圖像處理裝置、攝影系統以及圖像處理方法，其針對在作為第一圖像的等距柱形映射圖像(EC)上疊加一部分或全部重疊的作為第二圖像和第三圖像的平面圖象(PA)和(PB)時，即使第一圖像和第二圖像或第三圖像之間的圖像偏離獲得抑制，但第二圖像和第三圖像之間的圖像偏離依然顯著的問題，通過計算第二圖像在第一圖像上的重疊位置(S110至S160；S210?1)，而后求出第三圖像在第二圖像上的重疊位置(S190；S0?2?1、2)，從第三圖像經由第二圖像，階段性地進行與第一圖像的匹配處理，生成表示第三圖像在第一圖像上的重疊顯示數據(S230?1)，來抑制第二圖像和第三圖像之間的圖像偏離。

【技術實現步驟摘要】
圖像處理裝置、攝影系統、圖像處理方法
本專利技術涉及圖像處理裝置、攝影系統、圖像處理方法、計算機裝置以及記錄介質。
技術介紹
在現有技術中，專利文獻1(JP特開2016-96487號公報)公開了一種在廣角平面圖像上的部分區域中，嵌入另外拍攝得到的不同于廣角平面圖像的放大平面圖像，用于在放大前述部分區域時也能夠清晰顯示圖像的技術方案。但是，在作為第一圖像的等距柱形映射圖像(背景圖像)上重疊作為第二圖像的平面圖像(前景圖像)、以及第三圖像的平面圖像(前景圖像)的情況下，盡管能夠抑制第一圖像和第二圖像(或者第三圖像)之間的圖像偏離，然而第二圖像和第三圖像一部分或全部重疊時，第二圖像與第三圖像之間的圖像偏離依然顯著。
技術實現思路
鑒于上述問題，本專利技術提出一種圖像處理裝置，其特征在于，具備，第一對應區域計算部，用于根據具有第一映射方式的第一圖像中的多個特征點與具有第二映射方式的第二圖像中的多個特征點之間的相似度，用第一單應轉換，來計算所述第一圖像中與第二圖像對應的第一對應區域；映射方式轉換部，用于通過把所述第一圖像中的第一對應區域所包含的特定區域的映射方式，轉換為所述第二圖像的映射方式，來生成特定區域圖像；第二對應區域計算部，用于根據所述第二圖像中多個特征點與所述第一圖像中多個特征點之間的相似度，用第二單應轉換，來計算所述特定區域中與所述第二圖像對應的第二對應區域；映射方式逆轉換部，用于通過把所述第二對應區域的映射方式逆轉換為所述第一映射方式，來計算所述第一圖像中與所述第二對應區域對應的第一預定對應區域所表示的第一位置信息；以及，第三對應區域計算部，用于根據所述第二圖像中的多個特征點與具有與所述第二映射方向相同的映射方式的第三圖像中的多個特征點之間的相似度，用第三單應轉換，來計算所述第二圖像中與所述第三圖像對應的第三對應區域，所述第二對應區域計算部用所述第二單應轉換，來計算所述特定區域圖像中與所述第三圖像對應的第四對應區域，所述映射方式逆轉換部把所述第四對應區域的映射方式逆轉換為所述第一映射方式，計算所述第一圖像中與所述第四對應區域對應的第二預定對應區域所表示的第二位置信息。本專利技術得效果在于，能夠抑制第二圖像和第三圖像之間的偏離。附圖說明圖1是特殊攝影裝置的外觀圖，其中，(a)是特殊攝影裝置的左視圖，(b)是特殊攝影裝置的后視圖，圖1(c)是特殊攝影裝置的俯視圖，(d)是特殊攝影裝置的仰視圖。圖2是使用特殊攝影裝置的示意圖。圖3是特殊攝影裝置1拍攝的圖像的示意圖，其中，(a)中為特殊拍攝裝置1拍攝的半球圖像(前方)，(b)表示特殊攝影裝置拍攝的半球圖像(后方)，(c)是利用等距柱形映射法表示的圖像。圖4是天球圖像的示意圖，其中，(a)顯示用等矩柱形映射圖像覆蓋球的狀態，(b)是天球圖像。圖5是將天球圖像作為三維立體球體顯示時的假想照像機以及預定區域的位置的示意圖。圖6是用來說明用假想照相機拍攝得到的圖像中顯示在顯示器上的預定區域的示意圖，(a)是圖5的立體圖，(b)顯示器上預定區域。圖7是預定區域信息與預定區域T的圖像之間的關系的示意圖。圖8是本專利技術第一實施方式涉及的攝像系統的構成的示意圖。圖9是適配器的斜視圖。圖10是攝影系統使用方式的示意圖。圖11是特殊拍攝裝置的硬件結構模塊圖。圖12是普通攝像裝置的硬件結構模塊圖。圖13是智能電話的硬件結構模塊圖。圖14是第一實施方式涉及的攝影系統的功能模塊圖。圖15是關于聯動攝影的示意圖，其中(a)是聯動攝影管理表的示意圖，(b)是聯動攝影裝置設定畫面的示意圖。圖16是第一實施方式涉及的圖像及聲音處理部的功能模塊圖。圖17是母圖像為天球圖像，自圖像為平面圖像時的重疊關系重疊關系元數據(1)的數據構成示意圖。圖18是母圖像和子圖像均為平面圖像時的重疊關系元數據(2)的數據構成示意圖。圖19是重疊顯示數據的數據構成示意圖。圖20的(a)和(b)分別是第二對應區域和第三對應區域中的網格區域的示意圖。圖21是第一實施方式涉及的攝影方法的時序圖。圖22是重疊關系元數據以及重疊顯示數據的生成處理過程中的圖像示意圖圖23是確定周邊區域圖像的示意圖。圖24是將第二對應區域分割為多個網格的網格區域的示意圖。圖25是等距柱形映射圖像EC中第一以及第二預定對應區域的示意圖。圖26是第一補償參數的生成處理的過程中的圖像示意圖。圖27的(a)是以往的重疊位置計算處理的示意圖，(b)是本實施方式中前景圖像對應關系的示意圖。圖28是以往的重疊位置計算處理的示意圖。圖29是本實施方式的重疊位置計算處理的示意圖。圖30是具有重疊關系的群組的示意圖。圖31是重疊處理過程的圖像示意圖。圖32是天球圖像上疊加了平面圖像時的二維示意圖。圖33是天球圖像上疊加了平面圖像時的三維示意圖。圖34是在不使用本實施方式的位置參數的情況下在天球圖像上疊加了平面圖像時的二維示意圖。圖35是在使用本實施方式的位置參數的情況下在天球圖像上疊加了平面圖像時的二維示意圖。圖36是對比未重疊顯示情況下和重疊顯示情況下的圖像顯示的示意圖，其中，(a)是未重疊顯示時的廣域圖像的顯示例，(b)是沒有重疊顯示時的廣域圖像的顯示例，(c)是重疊顯示時的廣域圖像的顯示例，(d)是重疊顯示時的電視圖像的顯示例。圖37是本實施方式的攝影系統構成示意圖。圖38是第二實施方式涉及的圖像處理服務器的硬件構成示意圖。圖39是第二實施方式涉及的攝影系統的功能模塊圖。圖40是第二實施方式涉及的圖像及聲音處理部的功能模塊圖。圖41是第二實施方式涉及的攝影方法的時序圖。具體實施方式以下參考附圖說明本專利技術的實施方式。下文中的天球圖像是一例第一圖像，重疊圖像是一例第二圖像。周圍區域圖象是一例第三圖像。《實施方式概述》以下描述本實施方式的概要。首先用圖1至圖7描述天球圖像的生成方法。在此，先用圖1描述特殊攝影裝置1的外觀。特殊攝影裝置1是用于獲得天球(360°)全景圖像的原始攝影圖像的數碼像機。圖1是特殊攝影裝置的外觀圖，其中，(a)是特殊攝影裝置的左視圖，(b)是特殊拍攝裝置的后視圖，圖1(c)是特殊攝影裝置的俯視圖，(d)是特殊攝影裝置的仰視圖。如圖1的(a)、(b)、(c)、(d)所示，特殊攝影裝置1上部的正面(正前方)和背后(后方)分別設有魚眼型透鏡102a、102b。特殊攝影裝置1的內部設有后述的攝像元件(圖像傳感器)103a、103b，攝像元件(圖像傳感器)103a、103b分別通過透鏡102a、102b來拍攝被攝體或風景，獲得半球圖像(視角為180°以上)。特殊攝影裝置1的正前方和后方設有快門按鈕115a。特殊拍攝裝置1的側面設有電源按鈕115b、Wi-Fi(WirelessFidelity)按鈕115c、以及攝影模式切換按鈕115d。電源按鈕115b和Wi-Fi按鈕115c每當受到按動時進行ON/OFF切換。攝影模式切換按鈕115d每當受到按動時，在靜態圖像攝影模式和動態圖像攝影模式之間切換。快門按鈕115a、電源按鈕115b、Wi-Fi按鈕115c、以及攝影模式切換按鈕115d是操作部分115中的一部分按鈕，而操作部115并不局限于這些按鈕。特殊拍攝裝置1底部150的中間設有用于將特殊攝影裝置1安裝到相機三腳架上或普通攝影裝置3上的三腳架螺紋孔1本文檔來自技高網...

【技術保護點】
1.一種圖像處理裝置，其特征在于，具備，第一對應區域計算部，用于根據具有第一映射方式的第一圖像中的多個特征點與具有第二映射方式的第二圖像中的多個特征點之間的相似度，用第一單應轉換，來計算所述第一圖像中與第二圖像對應的第一對應區域；映射方式轉換部，用于通過把所述第一圖像中的第一對應區域所包含的特定區域的映射方式，轉換為所述第二圖像的映射方式，來生成特定區域圖像；第二對應區域計算部，用于根據所述第二圖像中多個特征點與所述第一圖像中多個特征點之間的相似度，用第二單應轉換，來計算所述特定區域中與所述第二圖像對應的第二對應區域；映射方式逆轉換部，用于通過把所述第二對應區域的映射方式逆轉換為所述第一映射方式，來計算所述第一圖像中與所述第二對應區域對應的第一預定對應區域所表示的第一位置信息；以及，第三對應區域計算部，用于根據所述第二圖像中的多個特征點與具有與所述第二映射方向相同的映射方式的第三圖像中的多個特征點之間的相似度，用第三單應轉換，來計算所述第二圖像中與所述第三圖像對應的第三對應區域，所述第二對應區域計算部用所述第二單應轉換，來計算所述特定區域圖像中與所述第三圖像對應的第四對應區域，所述映射方式逆轉換部把所述第四對應區域的映射方式逆轉換為所述第一映射方式，計算所述第一圖像中與所述第四對應區域對應的第二預定對應區域所表示的第二位置信息。...

【技術特征摘要】
2018.03.26 JP 2018-058883;2019.03.12 JP 2019-044531.一種圖像處理裝置，其特征在于，具備，第一對應區域計算部，用于根據具有第一映射方式的第一圖像中的多個特征點與具有第二映射方式的第二圖像中的多個特征點之間的相似度，用第一單應轉換，來計算所述第一圖像中與第二圖像對應的第一對應區域；映射方式轉換部，用于通過把所述第一圖像中的第一對應區域所包含的特定區域的映射方式，轉換為所述第二圖像的映射方式，來生成特定區域圖像；第二對應區域計算部，用于根據所述第二圖像中多個特征點與所述第一圖像中多個特征點之間的相似度，用第二單應轉換，來計算所述特定區域中與所述第二圖像對應的第二對應區域；映射方式逆轉換部，用于通過把所述第二對應區域的映射方式逆轉換為所述第一映射方式，來計算所述第一圖像中與所述第二對應區域對應的第一預定對應區域所表示的第一位置信息；以及，第三對應區域計算部，用于根據所述第二圖像中的多個特征點與具有與所述第二映射方向相同的映射方式的第三圖像中的多個特征點之間的相似度，用第三單應轉換，來計算所述第二圖像中與所述第三圖像對應的第三對應區域，所述第二對應區域計算部用所述第二單應轉換，來計算所述特定區域圖像中與所述第三圖像對應的第四對應區域，所述映射方式逆轉換部把所述第四對應區域的映射方式逆轉換為所述第一映射方式，計算所述第一圖像中與所述第四對應區域對應的第二預定對應區域所表示的第二位置信息。2.根據權利要求1所述的圖像處理裝置，其特征在于，進一步具有補償信息生成部，用于生成對所述第二圖像中多個點的灰度和色值中至少一方進行補償的第一補償信息。3.根據權利要求1或2所述的圖像處理裝置，其特征在于，進一步具有形狀轉換部，用于在生成所述第一補償信息時，對所述第二對應區域進行形狀轉換，用以使得該第二對應區域的形狀與所述第二圖像的形狀相配，根據與經過形狀轉換后的第二對應區域中所包含的多個點的位置對應的所述第二圖像，求出所述第一補償信息。4.根據權利要求1或2所述的圖像處理裝置，其特征在于，所述多個點是把所述第二圖像分割為多個網格區域得到的網格點。5.根據權利要求1所述的圖像處理裝置，其特征在于，進一步具有補償信息生成部，用于生成對所述第三圖像中多個點的灰度和色值中至少一方進行補償的第二補償信息。6.根據權利要求1至5中任意一項所述的圖像處理裝置，其特征在于，進一步具有形狀轉換部，用于在生成灰度和色值中至少一方...

【專利技術屬性】
技術研發人員：水藤浩，
申請(專利權)人：株式會社理光，
類型：發明
國別省市：日本,JP