視覺里程計(jì)背景過濾方法及裝置制造方法及圖紙

一種視覺里程計(jì)背景過濾方法及裝置，其中方法包括如下步驟：根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景深，得到景深圖；根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重視差圖包括各像素點(diǎn)的視差信息和權(quán)重信息；對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所述背景概率圖包括各像素點(diǎn)為背景的概率信息；對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。解決了視覺里程計(jì)的背景識(shí)別問題。

【技術(shù)實(shí)現(xiàn)步驟摘要】
視覺里程計(jì)背景過濾方法及裝置
本專利技術(shù)涉及視覺里程計(jì)使用領(lǐng)域，尤其涉及一種視覺里程計(jì)背景過濾方法及裝置。
技術(shù)介紹
視覺里程計(jì)(visualodometry)是一種利用連續(xù)的攝像機(jī)圖片計(jì)算載體(如機(jī)器人)相對于固定場景位移和姿態(tài)變化的方法。比起其它的位移測距法(odometry)，視覺里程計(jì)的好處有：1.成本較低，只需要傳感器上攝像機(jī)即可2.能夠不受多種類別的干擾(如輪子位移傳感器受輪子滑移的影響)3.準(zhǔn)確率上較好。其原理和人類通過視覺判斷自身位移和姿態(tài)變化非常相似。人類僅僅靠雙眼的圖像信息便能準(zhǔn)確地判斷位移，這給視覺里程計(jì)提供了一個(gè)很好的參照視覺里程計(jì)的方法一般可以概括為這幾個(gè)步驟(以下簡稱視覺里程計(jì)流水線)：1.獲取圖像，可以使用單鏡頭攝像機(jī)(singlecamera)，立體攝像機(jī)或者全景攝像機(jī)(omnidirectionalcamera)2.圖像校正，這一步采用圖像處理技術(shù)糾正透鏡畸變等，改善圖像質(zhì)量。3.特征發(fā)現(xiàn)，這一步可分為：a.特征采集，從一幅圖像中提取出有代表性的、穩(wěn)固的特征。b.特征配對，對比連續(xù)的圖像，將不同圖像中的同一特征配對起來。4.利用特征在連續(xù)圖像之間的變化，建立視覺場(opticalfield)。5.利用視覺場估算位移。6.定期地增加新的特征和去除過期(不再場景內(nèi))的特征，以保證特征對于圖像的完整覆蓋。另外一種視覺里程計(jì)的方法不進(jìn)行特征提取和配對，而是直接用整個(gè)場景/原始圖片作為輸入。比如，利用深度學(xué)習(xí)可以解決較為簡單的環(huán)境下的靜動(dòng)態(tài)物體區(qū)分。但是在復(fù)雜的城市環(huán)境(交通，弱光環(huán)境)中，深度學(xué)習(xí)的成本驟增，不如直接利用環(huán)境的一些不變屬性提取特征。這些屬性包括物體的相對位置和絕對位置，分別可用景深和GPS坐標(biāo)刻畫，也包括物件本身的視覺屬性，比如棱角。對于無人車而言，視覺里程計(jì)可以作為多種位移測距系統(tǒng)中的一種，以提供對其它位移測距法的補(bǔ)充，同時(shí)也可以作為一套冗余備份系統(tǒng)。
技術(shù)實(shí)現(xiàn)思路
為此，需要提供一種視覺里程計(jì)背景過濾方法及裝置，解決識(shí)別圖像背景的問題。為實(shí)現(xiàn)上述目的，專利技術(shù)人提供了一種視覺里程計(jì)背景過濾方法，包括如下步驟：根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景深，得到景深圖；根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重視差圖包括各像素點(diǎn)的視差信息和權(quán)重信息；對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所述背景概率圖包括各像素點(diǎn)為背景的概率信息；對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。具體地，還包括步驟：采集預(yù)設(shè)場景三維地圖。具體地，還包括步驟：采集行車圖像。優(yōu)選地，根據(jù)景深圖和同一時(shí)刻不同鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。優(yōu)選地，根據(jù)景深圖和不同時(shí)刻同一鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。一種視覺里程計(jì)背景過濾裝置，包括景深圖計(jì)算模塊、權(quán)重視差圖計(jì)算模塊、背景概率圖計(jì)算模塊、最佳背景區(qū)塊計(jì)算模塊：所述景深圖計(jì)算模塊用于根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景深，得到景深圖；所述權(quán)重視差圖計(jì)算模塊用于根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重視差圖包括各像素點(diǎn)的視差信息和權(quán)重信息；所述背景概率圖計(jì)算模塊用于對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所述背景概率圖包括各像素點(diǎn)為背景的概率信息；所述最佳背景區(qū)塊計(jì)算模塊用于對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。具體地，還包括地圖采集模塊：所述地圖采集模塊用于采集預(yù)設(shè)場景三維地圖。具體地，其特征在于，還包括行車圖像采集模塊：所述行車圖像采集模塊用于采集行車圖像。優(yōu)選地，所述權(quán)重視差圖計(jì)算模塊用于根據(jù)景深圖和同一時(shí)刻不同鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。優(yōu)選地，所述權(quán)重視差圖計(jì)算模塊用于根據(jù)景深圖和不同時(shí)刻同一鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。區(qū)別于現(xiàn)有技術(shù)，上述技術(shù)方案巧妙地解決了視覺里程計(jì)中背景的精確識(shí)別與過濾的問題。附圖說明圖1為本專利技術(shù)具體實(shí)施方式所述場景與過濾后背景概率對比圖；圖2為本專利技術(shù)具體實(shí)施方式所述預(yù)先采集的三維地圖示例；圖3為本專利技術(shù)具體實(shí)施方式所述的靜態(tài)景深圖；圖4為本專利技術(shù)具體實(shí)施方式所述的視差法示意圖；圖5為本專利技術(shù)具體實(shí)施方式所述的視覺流圖法示意圖；圖6為本專利技術(shù)具體實(shí)施方式所述的方法流程圖；圖7為本專利技術(shù)具體實(shí)施方式所述的裝置模塊圖；附圖標(biāo)記說明：700、景深圖計(jì)算模塊；702、權(quán)重視差圖計(jì)算模塊；704、背景概率圖計(jì)算模塊；706、最佳背景區(qū)塊計(jì)算模塊；708、地圖采集模塊；710、行車圖像采集模塊。具體實(shí)施方式為詳細(xì)說明技術(shù)方案的
技術(shù)實(shí)現(xiàn)思路
、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合具體實(shí)施例并配合附圖詳予說明。視覺里程計(jì)的一個(gè)主要挑戰(zhàn)就是在充斥著動(dòng)態(tài)物體的場景內(nèi)準(zhǔn)確判斷位移。這對于城市中行駛的無人車尤其重要，因?yàn)槌鞘械缆飞铣涑庵鞣N大尺寸的車輛。這些大尺寸運(yùn)動(dòng)物體容易導(dǎo)致視覺里程計(jì)流水線效能的嚴(yán)重下降。如果能夠有效地過濾掉這些動(dòng)態(tài)物體，讓視覺里程計(jì)流水線集中于場景靜態(tài)的部分，則能有效提高視覺里程計(jì)的準(zhǔn)確性。而本方法能夠協(xié)助動(dòng)態(tài)環(huán)境下的視覺里程計(jì)準(zhǔn)確地辨識(shí)背景。為了區(qū)分背景和運(yùn)動(dòng)物體，一個(gè)簡單的想法是，先“記憶”背景，再比較所見之景和“記憶”之間的偏差。差別越大，越不可能是背景。我們首先要定義“記憶”是什么。一個(gè)固定場景的輪廓構(gòu)成的點(diǎn)集是算法所需的“記憶”。也就是說，在無人車運(yùn)行之前，它已經(jīng)記錄下整個(gè)場景的座標(biāo)。本方法是一種利用預(yù)先采集的場景三維信息(如場景的3維激光掃描地圖/激光點(diǎn)云圖)，生成一幅背景概率圖，以便過濾掉動(dòng)態(tài)物體盡可能還原場景原始的靜態(tài)的面貌。如圖1所示：左為過濾之前的場景，右為生成的背景概率圖。概率圖顏色越淺(越白)的地方為靜態(tài)背景的概率越高。本方法可以應(yīng)用于滿足如下條件的環(huán)境中：1、對預(yù)設(shè)環(huán)境進(jìn)行了3維激光地圖的采集。采集車輛配備高質(zhì)量的激光雷達(dá)，并且有精準(zhǔn)的定位儀器(如gps)。2、需要立體攝像機(jī)。3、三維激光地圖盡量不要有其它的臨時(shí)的、非固定的物體。這里可以參見圖2，為某實(shí)施例中預(yù)先采集的激光地圖本方法的主要步驟可以概括為：利用某種方法判斷無人車在三位空間內(nèi)的位置，然后將預(yù)先采集的三維激光圖投射到當(dāng)前攝像機(jī)的視角；利用視差圖法或者視覺流圖法，比較如圖3所示的靜態(tài)景深圖和實(shí)時(shí)獲取的圖像(以下簡稱當(dāng)前圖像)，得出一個(gè)背景概率圖。在圖3所示的實(shí)施例中，圖3a顯示了示例用的攝像機(jī)場景影像(Cameraimageofthesceneforrefrence)；圖3b顯示了預(yù)采集的3D場景的激光強(qiáng)度值圖樣(3Dscencepriorcolouredwithcorrespondinglaserintensityvalues)；圖3c顯示了將激光掃描圖投影到估計(jì)攝像機(jī)位置上的情況(Reprojectedlaser-intensityimageattheestimatedcameraposeintheprior)；圖3d顯示了投影后的景深圖，亮度代表了更大的景深(Reprojecteddepthimage,wherelightercoloursrepresentlargerdepth)。視差比較的是同一時(shí)刻，兩個(gè)觀察點(diǎn)產(chǎn)生的圖像之間的偏移。視覺流比較的是不同時(shí)刻的圖像的區(qū)別。這兩個(gè)方法一個(gè)側(cè)重于絕對位置，另一側(cè)重于速度，可以互補(bǔ)。從所見的圖像可以生成這兩個(gè)量，從“記憶”中的特性也可以生成它們本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種視覺里程計(jì)背景過濾方法，其特征在于，包括如下步驟：根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景深，得到景深圖；根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重視差圖包括各像素點(diǎn)的視差信息和權(quán)重信息；對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所述背景概率圖包括各像素點(diǎn)為背景的概率信息；對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。

【技術(shù)特征摘要】
1.一種視覺里程計(jì)背景過濾方法，其特征在于，包括如下步驟：根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的景深及合成景深，得到兩張景深圖；所述景深根據(jù)當(dāng)前行車圖像計(jì)算獲得，所述合成景深通過記憶的行車圖像計(jì)算合成，所述記憶為固定場景的輪廓構(gòu)成的點(diǎn)集；所述根據(jù)預(yù)設(shè)場景三維地圖和行車圖像計(jì)算各像素點(diǎn)的合成景深包括：利用線形二維延拓計(jì)算每個(gè)像素上的合成景深，根據(jù)景深圖和行車圖像計(jì)算權(quán)重視差圖，所述權(quán)重視差圖包括各像素點(diǎn)的視差信息和權(quán)重信息；對權(quán)重視差圖進(jìn)行后期處理，得到背景概率圖，所述背景概率圖包括各像素點(diǎn)為背景的概率信息；所述對權(quán)重視差圖進(jìn)行后期處理包括：延拓局部最大值，對背景概率圖進(jìn)行處理，得到最佳背景區(qū)塊。2.根據(jù)權(quán)利要求1所述的視覺里程計(jì)背景過濾方法，其特征在于，還包括步驟：采集預(yù)設(shè)場景三維地圖。3.根據(jù)權(quán)利要求1所述的視覺里程計(jì)背景過濾方法，其特征在于，還包括步驟：采集行車圖像。4.根據(jù)權(quán)利要求1所述的視覺里程計(jì)背景過濾方法，其特征在于，根據(jù)景深圖和同一時(shí)刻不同鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。5.根據(jù)權(quán)利要求1所述的視覺里程計(jì)背景過濾方法，其特征在于，根據(jù)景深圖和不同時(shí)刻同一鏡頭采集到的行車圖像計(jì)算權(quán)重視差圖。6.一種視覺里程計(jì)背景過濾裝置，其特征在于，包括景深圖計(jì)算模塊、權(quán)重視差圖計(jì)算模塊、背景概率圖計(jì)算模塊、最佳背景區(qū)塊計(jì)算模塊：所述景深圖計(jì)算模塊用于...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：潘晨勁，趙江宜，
申請(專利權(quán))人：福州華鷹重工機(jī)械有限公司，
類型：發(fā)明
國別省市：福建;35