一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法技術

本發明專利技術公開了一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法。本方法為：1)對每張圖片提取ORB特征；2)利用相鄰圖片的特征匹配跟蹤相機姿態；3)對跟蹤丟失的圖片執行重定位與重跟蹤策略；4)若重定位成功執行，則估計當前相機的姿態，且停止執行重跟蹤策略并刪除其產生的臨時變量；5)若重跟蹤策略成功執行，則產生一條新的軌跡；6)對產生的軌跡數量進行判定，若數量超過閾值，則將最初始的軌跡剔除；7)對每個關鍵幀進行閉環檢測，檢測成功后進行軌跡融合；8)定位系統結束時，對所述軌跡進行篩選，得到一條姿態正確的軌跡。本發明專利技術的優勢在于能在快速移動、遮擋、紋理不足、光照變化的條件下，定位完整的相機軌跡。

A method for simultaneous localization and map building of monocular vision robot based on re tracking strategy

The invention discloses a method for synchronously locating and mapping a monocular vision robot based on the re tracking strategy. The method is as follows: 1) ORB feature extraction for each picture; 2) features using neighboring images matching tracking camera attitude; 3) implementation of relocation of the tracking lost pictures and heavy tracking strategy; 4) if the relocation is successfully executed, the current estimate of the camera's pose, implementation of tracking strategy and delete the temporary variable produce and stop; 5) if the tracking strategy succeeds, it generates a new trace; 6) the number of generated path to determine if the number exceeds the threshold, the initial trajectory will be eliminated; 7) for each key frame loop detection, detection after the success of track fusion; 8) positioning system at the end of the path selection, a correct attitude trajectory. The advantage of the invention is that the complete camera trajectory can be located in the condition of rapid moving, occlusion, insufficient texture and illumination change.

【技術實現步驟摘要】
一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法
本專利技術屬于基于單攝像頭的移動機器人自主定位與導航領域，特別涉及一種基于重跟蹤策略的單目視覺同步定位與地圖構建方法。
技術介紹
隨著計算機技術和人工智能的發展，機器人的研究得到越來越多的關注和投入，智能自主移動機器人成為機器人領域的一個重要研究方向和研究熱點。同步定位與地圖構建(simultaneouslocalizationandmapping,SLAM)問題是指移動機器人在未知環境中，利用自身的傳感器(如激光雷達、里程計、攝像頭、超聲波等)創建一個與環境相一致的地圖，并同時利用該地圖對機器人的位置和姿態進行估計。該問題被認為能否真正實現機器人自主導航的關鍵問題。近年來，隨著計算機視覺技術的發展以及計算機運算能力的增強，出現了大量利用攝像機作為傳感器的視覺SLAM方法。視覺傳感器具有信息量大、靈活性高、成本低等優點，這是其他傳感器所無法比擬的。單目視覺SLAM僅使用一個攝像頭作為傳感器完成同步定位與地圖創建操作，具有系統結構簡單、成本低且易實現等優點。因此，基于單目視覺SLAM技術具有廣闊的應用前景。現有的解決單目SLAM的方法主要分為基于概率框架的單目視覺SLAM方法和非概率框架的單目視覺SLAM方法。基于概率框架的單目視覺SLAM方法主要通過遞歸的貝葉斯濾波方法估計相機姿態和地圖特征的空間位置，常用的解決方法有基于擴展卡爾曼濾波器(extendedKalmanfilter)或粒子濾波器(particlefilter)。非概率框架的單目視覺SLAM系統目前主要是基于關鍵幀和稀疏捆綁調整等優化算法實現，常用的解決方法有直接法或基于特征的方法。非概率框架的單目視覺SLAM系統要求相鄰兩幀的基線較短(smallbaseline)，以便系統能夠估計每幀的姿態。當跟蹤丟失(trackinglost)，即當前幀的姿態無法被正確估計時，系統采用重定位策略，只有當機器人回到曾經經過的地點時，SLAM系統才能繼續定位相機的位置并重建周圍環境。這種策略的缺點在于從跟蹤丟失到重定位成功之間，相機的姿態和地圖無法重建出來。
技術實現思路
針對現有技術存在的技術問題，本專利技術的目的是提供一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法；本專利技術致力于解決傳統方法中由于使用重定位策略導致跟蹤丟失后部分相機姿態和環境無法估計與建模的問題，創新性地提出了一種重跟蹤策略，提高了相機姿態估計的成功率以及地圖重建的完整率。本專利技術采用的技術方案如下：一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法，其步驟為：1)輸入攝像頭捕獲的場景圖像，對每張圖片提取ORB特征；2)利用相鄰圖片的特征匹配跟蹤相機姿態并估計特征點的深度信息；因特征匹配失敗而導致相機姿態無法被估計定義為跟蹤丟失；3)對所述跟蹤丟失的圖片執行重定位與重跟蹤策略；所述重跟蹤策略采用局部初始化算法；4)若所述重定位成功執行，則估計當前相機的姿態，且停止執行所述重跟蹤策略并刪除其產生的臨時變量；5)若所述重跟蹤成功執行，則產生一條新的軌跡；6)對所述產生的軌跡數量進行判定，若數量超過閾值，則將最初始的軌跡剔除；7)對每個關鍵幀進行閉環檢測，檢測成功后進行軌跡融合；8)定位系統結束時，對所述軌跡進行篩選，得到一條姿態正確的軌跡。上述方法對跟蹤丟失這種情況采用了重定位與重跟蹤(局部初始化)兩種策略。下面進一步具體說明本專利技術的
技術實現思路
：1.局部初始化本專利技術的局部初始化算法改進于ORB-SLAM(參考文獻：R.Mur-Artal,J.M.MMontiel,andJ.D.Tardos.ORB-SLAM:aversatileandaccuratemonocularSLAMsystem.IEEETransactionsonRobotics,2015)的自動地圖初始化算法。當系統檢測到跟蹤丟失時，局部初始化的過程如下：a)查找初始匹配點對：提取當前幀的ORB特征，搜索當前幀與參考幀(首次迭代時，以跟蹤丟失前的最后一個關鍵幀為參考幀)的特征點匹配個數。若匹配數量大于設定閾值，則執行b)；否則，將當前幀設置為參考幀，重新執行a)。b)模型選擇：采用RANSAC(RandomSampleConsensus，隨機抽樣一致性)策略，分別用八點法與四點法估計基本矩陣F(Foundamentalmatrix)與單應矩陣H(Homographymatrix)，并計算相應的重投影誤差，選擇誤差小的矩陣作為系統模型。c)運動估計與地圖構建：利用上述b)中選擇的模型，計算相機的姿態以及構建環境地圖。2.軌跡修正與融合Loopclosure即軌跡閉環，是指相機捕獲的當前場景與先前走過的場景一樣，即相機回到曾經經過的地方。利用該閉環，可以大大消除累計誤差。具體步驟如下：a)計算當前關鍵幀c與閉環關鍵幀l的相似變換Sc,l，獲取累計誤差：其中，sc,l為正實數，表明尺度因子；Rc,l與tc,l分別為旋轉矩陣與平移矩陣，Sim(3)為相似變換群。b)用Sc,l修正當前關鍵幀的姿態Tc,w：其中w表示世界坐標系，c表示當前關鍵幀，l表示閉環關鍵幀，Tl,w為閉環關鍵幀l的姿態，為修正后的當前關鍵幀的姿態。c)修正當前關鍵幀所在軌跡的其余關鍵幀。該步驟分為兩種情況：一、若當前關鍵幀與閉環關鍵幀屬于同一條軌跡，則修正當前關鍵幀的所有鄰接關鍵幀，該過程與ORB-SLAM的方法一致；二、若當前關鍵幀與閉環關鍵幀屬于不同的軌跡，則按從后向前的順序修正當前軌跡上的所有關鍵幀，并將當前軌跡融合進閉環軌跡。該過程分兩步執行，首先計算當前軌跡上相鄰關鍵幀的相對姿態：其中σ＝(1,2,...,n-1),n為當前軌跡的關鍵幀數量；是Tc-σ,w的逆矩陣，Tc-σ,w是第c-σ幀在世界坐標系w的姿態。其次，利用計算出的相對姿態從后向前修正當前軌跡剩余關鍵幀的姿態：其中σ＝(1,2,...,n-1),n為當前軌跡的關鍵幀數量；是ΔTc-σ+1,c-σ的逆矩陣d)將當前軌跡的標簽更改為閉環關鍵幀所在軌跡的標簽。3.軌跡刪除實際應用中，遮擋、抖動、紋理不足等狀況可能使跟蹤丟失的情況頻繁出現，進而使SLAM系統產生多條軌跡。然而，SLAM系統只需要輸出一條準確的相機軌跡，因此需要刪除多余的相機軌跡。本專利技術的有益效果是：本專利技術提供了一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法，能夠解決傳統方法中由于使用重定位策略導致跟蹤丟失后部分相機姿態和環境無法估計與建模的問題，通過重跟蹤策略提高了相機姿態估計的成功率以及地圖重建的完整率。本專利技術的優勢在于能在快速移動、遮擋、紋理不足、光照變化的條件下，定位完整的相機軌跡。附圖說明圖1.本專利技術方法的總體框架圖；圖2.本專利技術方法中生成新軌跡以及修正與融合軌跡的示意圖。具體實施方式下面通過具體實施例和附圖，對本專利技術做進一步說明。參考圖1，本專利技術流程圖的具體設計如下：1.輸入攝像頭捕獲的場景圖像：本專利技術以30fps的速率處理普通數碼攝像機采集的圖像。需要注意的是，由于純旋轉運動沒有時差，不能估計特征點的深度，因此要求系統開始運行時攝像機有一定的水平運動，且運動速度不宜太快，以便于完成系統的初始化。2.判斷是否跟蹤丟失若通過上一幀圖像無法估計出本文檔來自技高網...

【技術保護點】
一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法，其步驟為：1)輸入攝像頭捕獲的場景圖像，對每張圖片提取ORB特征；2)利用相鄰圖片的特征匹配跟蹤相機姿態；3)在跟蹤丟失時，對跟蹤丟失的圖片執行重定位與重跟蹤策略；所述重跟蹤策略采用局部初始化算法；4)若所述重定位成功執行，則估計當前相機的姿態，且停止執行所述重跟蹤策略并刪除其產生的臨時變量；5)若所述重跟蹤策略成功執行，則產生一條新的軌跡；6)對產生的軌跡數量進行判定，若數量超過閾值，則將最初始的軌跡剔除；7)對每個關鍵幀進行閉環檢測，檢測成功后進行軌跡融合；8)對軌跡進行篩選，刪除冗余軌跡，得到一條姿態正確的軌跡。

【技術特征摘要】
1.一種基于重跟蹤策略的單目視覺機器人同步定位與地圖構建方法，其步驟為：1)輸入攝像頭捕獲的場景圖像，對每張圖片提取ORB特征；2)利用相鄰圖片的特征匹配跟蹤相機姿態；3)在跟蹤丟失時，對跟蹤丟失的圖片執行重定位與重跟蹤策略；所述重跟蹤策略采用局部初始化算法；4)若所述重定位成功執行，則估計當前相機的姿態，且停止執行所述重跟蹤策略并刪除其產生的臨時變量；5)若所述重跟蹤策略成功執行，則產生一條新的軌跡；6)對產生的軌跡數量進行判定，若數量超過閾值，則將最初始的軌跡剔除；7)對每個關鍵幀進行閉環檢測，檢測成功后進行軌跡融合；8)對軌跡進行篩選，刪除冗余軌跡，得到一條姿態正確的軌跡。2.如權利要求1所述的方法，其特征在于，其具體執行流程為：a)輸入攝像頭捕獲的場景圖像；b)判斷是否跟蹤丟失，若是則執行步驟c)，否則執行步驟d)；c)重定位當前圖像，若成功，則刪除臨時變量，執行步驟d)；否則執行步驟e)；d)提取ORB特征并估計相機姿態；執行步驟g)；e)局部初始化相機軌跡，若成功，執行步驟f)，否則執行步驟g)；f)判斷軌跡數量，若超過給定閾值，先刪除標簽最小的軌跡，再從當前位置生成新的軌跡；否則直接從當前位置生成新的軌跡；g)檢測閉環，若形成閉環，則修正并融合軌跡；h)判斷系統狀態，若系統即將結束，則刪除冗余軌跡；否則返回步驟a)。3.如權利要求1或2所述的方法，其特征在于，所述局部初始化包括以下步驟：a)查找初始匹配點對：提取當前幀的ORB特征，搜索當前...

【專利技術屬性】
技術研發人員：劉宏，黃偉波，宋章軍，張國棟，楊冰，吳觀明，
申請(專利權)人：北京大學深圳研究生院，深圳市銀星智能科技股份有限公司，
類型：發明
國別省市：廣東,44