具有移動預測的圖像追蹤方法及擴增實境實現(xiàn)方法技術

本發(fā)明專利技術公開了一種具有移動預測的圖像追蹤方法及擴增實境實現(xiàn)方法，其圖像追蹤方法包括A1、獲取目標標志物；A2、計算目標標志物的初始位姿矩陣；A3、讀入目標標志物的下一幀數(shù)據(jù)，利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法進入追蹤執(zhí)行線程，以確定新的位姿矩陣；A4、根據(jù)新的位姿矩陣對圖像進行相應的位置變換；A5、采用A3至A4的步驟直至目標標志物消失；采用該方法有效的解決現(xiàn)有圖像追蹤方法在圖像位移量較大時追蹤計算量增大、實時性下降甚至丟失的情況。

Image tracking method with moving prediction and augmented reality implementation method

The invention discloses a mobile image prediction tracking method and augmented reality method, the image tracking methods including A1, obtain the target marker; A2, calculate the target markers in the initial pose matrix; A3, read the target markers in the next frame data, using the template matching, and motion vector prediction model Calman filtering algorithm into tracking thread of execution, to determine the pose matrix; A4, according to the image position transformation corresponding pose matrix; A5, using A3 to A4 step until the target disappear; to adopt the effective method to solve the existing image tracking method in image displacement greatly increase the amount of calculation, real-time tracking decline and even loss of.

【技術實現(xiàn)步驟摘要】
具有移動預測的圖像追蹤方法及擴增實境實現(xiàn)方法
本專利技術涉及計算器視覺領域，具體涉及一種具有移動預測的圖像追蹤方法及基于該方法的擴增實境實現(xiàn)方法。
技術介紹
擴增實境技術即AR，全稱為AugmentedReality，其將虛擬世界的視效、音效及空間信息等信息整合至真實環(huán)境信息的技術，擴增實境技術不僅展現(xiàn)真實環(huán)境的信息，亦同時將虛擬的信息顯示出來，藉由兩種信息相互補充、迭加，藉此讓使用者可獲得更豐富的感知信息，通常，搭載擴增實境技術的電子裝置可透過配置于其上的攝像鏡頭捕捉真實環(huán)境的影像，并實時地計算所捕捉影像的位置、角度，同時加上相應虛擬圖像，其目的是在顯示屏幕上把虛擬世界信息套在現(xiàn)實環(huán)境信息中，讓用戶透過所捕捉的影像與虛擬世界的信息進行互動。現(xiàn)今擴增實境技術主要應用于智能手機、平板計算機等移動裝置，近年來由于虛擬現(xiàn)實(VirtualReality，VR)技術的發(fā)展，也開始將擴增實境技術應用于智能頭盔、智能眼鏡等穿戴式設備上。透過3D圖像動畫的渲染，多媒體視頻、音頻的播放，擴增實境技術被廣泛地應用于電玩游戲、媒體傳播及教育等領域。擴增實境技術利用虛擬特效增強真實環(huán)境中的場景，將需要被展示或被突顯的目標事物更加生動且具體，帶給用戶強烈鮮明的視覺效果。經(jīng)典的擴增現(xiàn)實應用通常利用模板匹配的方式做圖像的追蹤。當圖像位移量較大時，模板在指定范圍內沒有搜到匹配的區(qū)域，因此擴大搜索的區(qū)域，但是，此時有可能依然搜尋不到匹配的區(qū)域，因此在圖像追蹤時容易造成圖像的追蹤計算量增大、實時性下降甚至丟失的情況。
技術實現(xiàn)思路
本專利技術為了解決上述技術問題提供一種具有移動預測的圖像追蹤方法及基于該方法的擴增實境實現(xiàn)方法。本專利技術通過下述技術方案實現(xiàn)：具有移動預測的圖像追蹤方法，包括：A1、獲取目標標志物；A2、計算目標標志物的初始位姿矩陣；A3、讀入目標標志物的下一幀數(shù)據(jù)，利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法進入追蹤執(zhí)行線程，以確定新的位姿矩陣；A4、根據(jù)新的位姿矩陣對圖像進行相應的位置變換；A5、采用A3至A4的步驟直至目標標志物消失。本方法在現(xiàn)有的圖像追蹤方法上做了改進，利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法開始追蹤執(zhí)行線程，有效的解決現(xiàn)有圖像追蹤方法在圖像位移量較大時追蹤計算量增大、實時性下降甚至丟失的情況。在步驟A3的具體方法為：當讀入的影像至少大于兩幀時，利用前兩幀位姿矩陣計算一個預測矩陣，預先將跟蹤組的點從上一幀的位置投影到預測矩陣的位置范圍，再在預測矩陣中搜索模板；根據(jù)上一幀的位姿矩陣將跟蹤組的點投影至屏幕上，在點附近的一定范圍內做模板匹配，譬如在該點周圍15*15像素方形范圍內進行搜索，判斷模板的匹配度由模板所有像素值的歸一化互相關系數(shù)決定；對之前的數(shù)幀位姿矩陣進行加權，之后對當前幀求得的新的位姿矩陣做最優(yōu)化估計處理。最優(yōu)化估計處理即采用最優(yōu)化方法對位姿矩陣進行估計。一種基于圖像追蹤方法的擴增實境實現(xiàn)方法，包括：1)、生成目標標志物；2)、初始化擴增實境系統(tǒng)；3)、獲取真實場景圖像；4)、檢測并匹配目標標志物，獲取目標標志物的初始位姿矩陣；5)、渲染3D引擎動畫特效；6)、采用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法開始進入追蹤執(zhí)行線程，確定目標標志物新的位姿矩陣；7)、根據(jù)新的位姿矩陣更新擴增實境動畫特效；8)、重復5)至7)直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統(tǒng)停止運作。所述模板匹配的方法為：擴增實境系統(tǒng)根據(jù)上一幀的位姿矩陣將跟蹤組的點投影至屏幕上，在點附近的一定范圍內做模板匹配，判斷模板是否匹配的分數(shù)由模板所有像素值的歸一化互相關系數(shù)決定。采用矢量運動模型預測的方法為：當讀入的影像至少大于兩幀時，利用前兩幀位姿矩陣計算一個預測矩陣，預先將跟蹤組的點從上一幀的位置投影到預測矩陣的位置范圍，再在預測矩陣內搜索模板。將上一幀的點投影到當前幀，并比較兩幀特征點的位置移動，算出運動的預測矩陣，在預測矩陣內搜索模板，從而減小圖像的追蹤計算量、避免實時性下降甚至丟失的情況。采用卡爾曼濾波算法的方法為：對之前的數(shù)幀位姿矩陣進行加權，之后對當前幀求得的新的位姿矩陣做最優(yōu)化估計處理。生成目標標志物的步驟為：生成目標標志物的方法包括：選取圖像；運用線性插值的方法對圖像進行不同尺度的縮小，建立圖層塔，使增強現(xiàn)實系統(tǒng)可以匹配到攝像頭獲取的圖像中多種尺寸的標志物；生成跟蹤組的點；生成匹配組的特征點及描述子。本專利技術與現(xiàn)有技術相比，具有如下的優(yōu)點和有益效果：1、本專利技術利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法開始追蹤執(zhí)行線程，有效的解決現(xiàn)有圖像追蹤方法在圖像位移量較大時追蹤計算量增大、實時性下降甚至丟失的情況。2、本專利技術將上述圖像追蹤方法應用到擴增實境中，有效的解決了虛擬三維模型中當圖像位移量大時追蹤計算量增大、實時性下降甚至丟失的情況，增強了用戶體驗。具體實施方式為使本專利技術的目的、技術方案和優(yōu)點更加清楚明白，下面結合實施例，對本專利技術作進一步的詳細說明，本專利技術的示意性實施方式及其說明僅用于解釋本專利技術，并不作為對本專利技術的限定。實施例1具有移動預測的圖像追蹤方法，包括：A1、獲取目標標志物；A2、計算目標標志物的初始位姿矩陣；A3、讀入目標標志物的下一幀數(shù)據(jù)，利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法進入追蹤執(zhí)行線程，以確定新的位姿矩陣；A4、根據(jù)新的位姿矩陣對圖像進行相應的位置變換；A5、采用A3至A4的步驟直至目標標志物消失。具體的，步驟A3的具體方法為：對之前的數(shù)幀位姿矩陣進行加權，之后對當前幀求得的新的位姿矩陣做最優(yōu)化估計處理；當讀入的影像至少大于兩幀時，利用前兩幀位姿矩陣計算一個預測矩陣，預先將跟蹤組的點從上一幀的位置投影到當前幀的點可能出現(xiàn)的位置范圍，再在這些位置附近搜索模板；根據(jù)上一幀的位姿矩陣將跟蹤組的點投影至屏幕上，在點附近的一定范圍內做模板匹配，譬如在該點周圍15*15像素方形范圍內進行搜索，判斷模板是否匹配的分數(shù)由模板所有像素值的歸一化互相關系數(shù)決定。上述圖像追蹤方法可應用到很多很多系統(tǒng)應用中。下面以擴增實境系統(tǒng)的應用對本方法的詳細步驟進行闡述。實施例2一種基于圖像追蹤方法的擴增實境實現(xiàn)方法，其特征在于，包括：1)、生成目標標志物；2)、初始化擴增實境系統(tǒng)；3)、獲取真實場景圖像；4)、檢測并匹配目標標志物，獲取目標標志物的初始位姿矩陣；5)、渲染3D引擎動畫特效；6)、采用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法開始進入追蹤執(zhí)行線程，確定目標標志物新的位姿矩陣；7)、根據(jù)新的位姿矩陣更新擴增實境動畫特效；8)、重復5)至7)直至目標標志物在屏幕中消失、重新獲取真實場景圖像或擴增實境系統(tǒng)停止運作。具體的，步驟2)中，擴增實境系統(tǒng)可以在帶有攝像頭的設備上實現(xiàn)，譬如手機、平板計算機、智能眼鏡或頭盔等。初始化擴增實境系統(tǒng)主要包括兩方面：1.攝像頭的校準及初始化，用于獲取真實場景圖像，初始化攝像頭具體指將攝像頭的焦距和形變等內部固有參數(shù)讀取到內存中；2.擴增實境系統(tǒng)讀取實現(xiàn)技術需要的預存好的本地數(shù)據(jù)，包括目標標志物文件，3D模型的信息。步驟3)通過攝像頭獲取一個真實場景的圖像。檢測圖像內是否含有目標標志物，若有流程繼續(xù)進行，否則重新獲取圖像本文檔來自技高網(wǎng)...

【技術保護點】
具有移動預測的圖像追蹤方法，其特征在于，包括：A1、獲取目標標志物；A2、計算目標標志物的初始位姿矩陣；A3、讀入目標標志物的下一幀數(shù)據(jù)，利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法進入追蹤執(zhí)行線程，以確定新的位姿矩陣；A4、根據(jù)新的位姿矩陣對圖像進行相應的位置變換；A5、采用A3至A4的步驟直至目標標志物消失。

【技術特征摘要】
1.具有移動預測的圖像追蹤方法，其特征在于，包括：A1、獲取目標標志物；A2、計算目標標志物的初始位姿矩陣；A3、讀入目標標志物的下一幀數(shù)據(jù)，利用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法進入追蹤執(zhí)行線程，以確定新的位姿矩陣；A4、根據(jù)新的位姿矩陣對圖像進行相應的位置變換；A5、采用A3至A4的步驟直至目標標志物消失。2.根據(jù)權利要求1所述的具有移動預測的圖像追蹤方法，其特征在于，在步驟A3的具體方法為：當讀入的影像至少大于兩幀時，利用前兩幀位姿矩陣計算一個預測矩陣，預先將跟蹤組的點從上一幀的位置投影到預測矩陣的位置范圍，再在預測矩陣中搜索模板；根據(jù)上一幀的位姿矩陣將跟蹤組的點投影至屏幕上，在點附近的一定范圍內做模板匹配，判斷模板的匹配度由模板所有像素值的歸一化互相關系數(shù)決定；對之前的數(shù)幀位姿矩陣進行加權，之后對當前幀求得的新的位姿矩陣做最優(yōu)化估計處理。3.一種基于圖像追蹤方法的擴增實境實現(xiàn)方法，其特征在于，包括：1)、生成目標標志物；2)、初始化擴增實境系統(tǒng)；3)、獲取真實場景圖像；4)、檢測并匹配目標標志物，獲取目標標志物的初始位姿矩陣；5)、渲染3D引擎動畫特效；6)、采用模板匹配、矢量運動模型預測、卡爾曼濾波算法的方法開始進入追蹤執(zhí)行線程，確定目標標志物新的位姿矩陣；7)...

【專利技術屬性】
技術研發(fā)人員：施茂燊，
申請(專利權)人：深圳前海大造科技有限公司，
類型：發(fā)明
國別省市：廣東,44