混合視覺系統標定方法技術方案

本發明專利技術涉及一種混合視覺系統標定方法，首先分別對單目攝像機和全景攝像機進行標定，得到單目攝像機和全景攝像機的內部參數，并設置基于棋盤圖的標定板，創建棋盤坐標系，然后計算出單目攝像機坐標系到棋盤坐標系的變換矩陣，并在全景攝像機坐標系前構建一虛擬投影平面，計算出虛擬投影平面到棋盤坐標系的變換矩陣，在此基礎上計算全景攝像機坐標系到棋盤坐標系的變換矩陣，最后獲得單目攝像機坐標系到全景攝像機坐標系的變換矩陣，得到所述混合視覺系統的外參數。該方法對標定條件和混合視覺系統的空間配置關系要求低，使用靈活，標定精度高。

【技術實現步驟摘要】

本專利技術涉及計算機視覺
，特別是一種。
技術介紹
近些年來，由單目視覺和全景視覺構成的混合視覺系統在吸引了很多學者的興趣。它結合了單目攝像機分辨率大、成像清晰的優點和全景攝像機視場大、獲取場景信息量大的長處，同時克服了單目攝像機視場小和全景攝像機分別率低的缺點，具有廣泛的發展前景。在移動機器人中，通常將全景攝像機安裝在機器人頂部而將單目攝像機安裝在前端(補充視角)，實現了如物體識別、物體跟蹤和三維重建等功能。混合視覺系統在監控行業中也得到了應用，能顯著減少覆蓋大區域所需攝像頭的數目。為了將單目攝像機和全景攝像機拍攝的信息統一起來，需要對混合視覺系統進行標定。現有的標定方法主要有兩種:第一種是提前設定全景攝像機的理想方位，計算該位置的成像，之后人工調整全景攝像機的位置，通過匹配實際成像與理想成像，來實現校準 ’另一種方法是垂直于全景攝像機軸線安裝標定靶面，人工估計初始變換矩陣，再利用非線性優化獲得更準確的參數。現有的標定方法存在如下缺點:1、對于標定條件要求過于苛刻。現在標定方法對標定板的位置有特殊的要求(如與全景攝像機軸線垂直，標定板放置于已知的理想位置)，在實際應用中難以得到保證。2、用于求解外參數的優化方法有一定局限性。眾所周知，完全使用優化方法進行求解的一個常見不足就是對初`值的選取有較高要求，若初值選取較為合理則可以獲得理想的結果，若選擇不當則可能得不到所需的值。3、求解精度低。從現有方法可以發現，攝像機之間距離與實際值的偏差量達到10mm，這增加了重建結果的誤差。
技術實現思路
本專利技術的目的在于提供一種，該方法對標定條件和混合視覺系統的空間配置關系要求低，使用靈活，標定精度高。為實現上述目的，本專利技術的技術方案是:一種，首先分別對單目攝像機和全景攝像機進行標定，得到單目攝像機和全景攝像機的內部參數，并設置基于棋盤圖的標定板，創建棋盤坐標系，然后計算出單目攝像機坐標系到棋盤坐標系的變換矩陣，并在全景攝像機坐標系前構建一虛擬投影平面，依靠線性求解和線性優化計算出虛擬投影平面到棋盤坐標系的變換矩陣，在此基礎上計算全景攝像機坐標系到棋盤坐標系的變換矩陣，最后獲得單目攝像機坐標系到全景攝像機坐標系的變換矩陣，得到所述混合視覺系統的外參數。相較于現有技術，本專利技術具有如下優點:1、擺脫了傳統混合視覺標定方法對于標定板擺放位置的依賴(垂直于全景攝像機光軸)，對標定板的空間方位無嚴格要求，只需保證其在單目攝像機和全景坐標系下可見即可。2、對混合視覺系統的空間配置無特別要求，解決了傳統的混合視覺標定方法只適用全景攝像機和單目攝像機軸向共面且相交的問題。3、標定精度比傳統的方法更高。圖7為使用本專利技術方法標定獲得的參數進行重建獲得的棋盤角點三維數據，點的平面度為0.62mm，水平方向點間距平均偏差0.11mm，垂直方向點間距平均偏差為0.70_，均優于現有方法。本方法擺脫了傳統混合視覺標定方法對于標定模板擺放位置的依賴(垂直于全景攝像機光軸)或兩個攝像機空間配置關系的特定要求(二者光軸垂直相交)，并利用線性求解克服了傳統求解方法采用的優化方案帶來的收斂結果不唯一的缺點，提高了標定的精度并具有更好的通用性。附圖說明圖1是本專利技術實施例制作的標定板BI的示意圖。圖2是本專利技術 實施例中對全景攝像機進行標定時，將投影圖像坐標系轉換成以光心為原點的坐標系的示意圖。圖3是本專利技術實施例中對全景攝像機進行標定時，以光心為原點的坐標系上的圖像點坐標與對應的三維向量的關系圖。圖4是本專利技術實施例制作的標定板B2的示意圖。圖5是本專利技術實施例構建的虛擬投影平面的示意圖。圖6是本專利技術實施例的混合視覺系統標定框架圖。圖7是利用本專利技術實施例的標定結果進行三維重建獲得的棋盤角點三維數據圖。具體實施例方式本專利技術，首先分別對單目攝像機和全景攝像機進行標定，得到單目攝像機和全景攝像機的內部參數，并設置基于棋盤圖的標定板，創建棋盤坐標系，然后計算出單目攝像機坐標系到棋盤坐標系的變換矩陣，并在全景攝像機坐標系前構建一虛擬投影平面，依靠線性求解和線性優化計算出虛擬投影平面到棋盤坐標系的變換矩陣，在此基礎上計算全景攝像機坐標系到棋盤坐標系的變換矩陣，最后獲得單目攝像機坐標系到全景攝像機坐標系的變換矩陣，得到所述混合視覺系統的外參數。對所述單目攝像機進行標定，得到單目攝像機內部參數的方法如下: 單目攝像機的內部參數用一個3X3的矩陣表示如下:Kjj 0 Ojj Km= 0 Ky Oy (I) _ 0 0 I _ 其中，Kx和&分別為單目攝像機沿水平、垂直方向的像素焦距，Ox和Oy分別為單目攝像機沿水平、垂直方向的光心位置；首先制作一塊棋盤格數目為ml Xnl，單位尺寸為al X al的棋盤圖，在本實施例中棋盤格數目為13\9，單位尺寸為20臟\20111111 (如圖1所示)，作為標定板BI ;標定時，依次在單目攝像機前方多個不同方位擺放所述標定板BI并拍攝對應的棋盤圖像，然后提取各張棋盤圖像上的角點坐標，結合已知的角點世界坐標，利用奇異值分解計算出各個方位棋盤坐標系到單目攝像機坐標系的單應矩陣；再聯立各個方位的投影方程，通過奇異值分解與因式變換計算得到單目攝像機內部參數的初值與單目攝像機坐標系到各個方位棋盤坐標系的外參數；最后利用LM優化方法，以投影點誤差最小為目標，對得到的外參數進行優化。對所述全景攝像機進行標定，得到全景攝像機內部參數的方法如下: 建立全景攝像機的投影模型，本專利技術采用了一種通用的投影模型，適用于滿足單視點約束的全景攝像機。在所述投影模型中，按式(2)和式(3)兩個步驟將投影圖像坐標系上的圖像點坐標映射到對應的全景攝像機坐標系上的三維向量:本文檔來自技高網...

【技術保護點】
一種混合視覺系統標定方法，其特征在于：首先分別對單目攝像機和全景攝像機進行標定，得到單目攝像機和全景攝像機的內部參數，并設置基于棋盤圖的標定板，創建棋盤坐標系，然后計算出單目攝像機坐標系到棋盤坐標系的變換矩陣，并在全景攝像機坐標系前構建一虛擬投影平面，計算出虛擬投影平面到棋盤坐標系的變換矩陣，在此基礎上計算全景攝像機坐標系到棋盤坐標系的變換矩陣，最后獲得單目攝像機坐標系到全景攝像機坐標系的變換矩陣，得到所述混合視覺系統的外參數。

【技術特征摘要】
1.一種混合視覺系統標定方法，其特征在于:首先分別對單目攝像機和全景攝像機進行標定，得到單目攝像機和全景攝像機的內部參數，并設置基于棋盤圖的標定板，創建棋盤坐標系，然后計算出單目攝像機坐標系到棋盤坐標系的變換矩陣，并在全景攝像機坐標系前構建一虛擬投影平面，計算出虛擬投影平面到棋盤坐標系的變換矩陣，在此基礎上計算全景攝像機坐標系到棋盤坐標系的變換矩陣，最后獲得單目攝像機坐標系到全景攝像機坐標系的變換矩陣，得到所述混合視覺系統的外參數。2.根據權利要求1所述的混合視覺系統標定方法，其特征在于:對所述單目攝像機進行標定，得到單目攝像機內部參數的方法如下: 單目攝像機的內部參數用一個3X3的矩陣表示如下:3.根據權利要求2所述的混合視覺系統標定方法，其特征在于:對所述全景攝像機進行標定，得到全景攝像機內部參數的方法如下: 建立全景攝像機的投影模型，在所述投影模型中，按式(2)和式(3)兩個步驟將投影圖像坐標系...

【專利技術屬性】
技術研發人員：何炳蔚，陳志鵬，陳星，
申請(專利權)人：福州大學，
類型：發明
國別省市：