本發(fā)明專利技術(shù)公開一種基于TLD的視頻目標(biāo)跟蹤方法，步驟是：（1）在跟蹤目標(biāo)的起始幀，根據(jù)給出的位置和大小信息生成圖像子窗口，對檢測器進(jìn)行訓(xùn)練；（2）跟蹤器根據(jù)目標(biāo)在上一幀中的位置和大小信息，估計(jì)出目標(biāo)在當(dāng)前幀中所在的區(qū)域；（3）用檢測器對當(dāng)前幀進(jìn)行檢測，找出當(dāng)前幀中所有可能的目標(biāo)；（4）對跟蹤器和檢測器的結(jié)果進(jìn)行融合處理，判斷當(dāng)前幀是否存在目標(biāo)，不存在則返回步驟（3）對下一幀進(jìn)行處理；存在則給出目標(biāo)位置以及判斷當(dāng)前幀的跟蹤軌跡是否有效，無效則返回步驟（2）對下一幀進(jìn)行處理；有效則完成檢測器的在線更新，回到步驟（2）對下一幀進(jìn)行處理。此種方法對現(xiàn)有的TLD算法進(jìn)行改進(jìn)，獲得比TLD算法更理想的視頻目標(biāo)跟蹤算法。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于目標(biāo)檢測與跟蹤領(lǐng)域，特別涉及一種針對當(dāng)前新興的視頻跟蹤算法TLD的改進(jìn)。
技術(shù)介紹
目標(biāo)跟蹤是計(jì)算機(jī)視覺研究領(lǐng)域中的關(guān)鍵問題，其本質(zhì)是根據(jù)參考圖像幀中選定的目標(biāo)在接下來的圖像幀中尋找目標(biāo)的最佳位置，并在多個領(lǐng)域有著重要的研究和應(yīng)用價(jià)值，如民用領(lǐng)域中的智能交通系統(tǒng)，軍事領(lǐng)域中的導(dǎo)航、制導(dǎo)、以及防衛(wèi)等系統(tǒng)。一套性能優(yōu)良的跟蹤系統(tǒng)面臨著多方面的挑戰(zhàn)，如跟蹤點(diǎn)變化、光照影響、 快速運(yùn)動、目標(biāo)遮擋或消失、復(fù)雜背景等。TLD是一種長期、在線、最少先驗(yàn)信息的目標(biāo)跟蹤方法，主要由三個部分組成跟蹤器、檢測器和學(xué)習(xí)模塊。跟蹤器部分由一個短周期自適應(yīng)跟蹤器構(gòu)成，在幀間運(yùn)動有限、目標(biāo)可見的情況下，用來預(yù)測目標(biāo)在連續(xù)幀間的運(yùn)動；檢測器部分為一個高效的級聯(lián)分類器，創(chuàng)建使用了簡單有效圖像特征，可以對目標(biāo)進(jìn)行實(shí)時(shí)的檢測，同時(shí)在必要的情況下糾正跟蹤器；學(xué)習(xí)模塊評估跟蹤器和檢測器的性能，通過生成有效的訓(xùn)練樣本完成檢測器的更新，消除檢測器誤差。TLD算法的框架結(jié)構(gòu)如圖I所示。在跟蹤目標(biāo)的起始幀，通過給出目標(biāo)的位置和大小，完成對TLD算法的初始化；在隨后的跟蹤過程中，對每一幀圖像用跟蹤器和檢測器共同進(jìn)行處理，跟蹤器根據(jù)前一幀中目標(biāo)的位置信息來估計(jì)當(dāng)前幀中目標(biāo)所在的位置，檢測器對當(dāng)前幀窗口全局掃描，檢測出一個或者多個可能的目標(biāo)位置，檢測結(jié)果和跟蹤結(jié)果輸入到融合處理模塊，該模塊給出當(dāng)前幀是否存在目標(biāo)、目標(biāo)位置以及到當(dāng)前幀的跟蹤軌跡是否有效等信息；這些融合處理結(jié)果、聯(lián)合檢測結(jié)果和跟蹤結(jié)果一起輸入到學(xué)習(xí)模塊，學(xué)習(xí)模塊完成對跟蹤器和檢測器的更新。TLD是一套高效的目標(biāo)跟蹤算法，只需要較少的先驗(yàn)信息就可以實(shí)現(xiàn)對目標(biāo)的長期在線跟蹤，運(yùn)算速度快，實(shí)時(shí)性高，并且能有效地適用于目標(biāo)被遮擋或者消失的場合和目標(biāo)外表在跟蹤過程中發(fā)生變化的情況，因此，對該算法的研究有著極其重要的意義。在對TLD算法進(jìn)行測試分析和研究的過程中，找出了該算法中存在的一些不足，加以改進(jìn)，本案由此產(chǎn)生。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的，在于提供一種基于TLD的視頻目標(biāo)跟蹤方法，其對現(xiàn)有的TLD算法進(jìn)行改進(jìn)，能夠獲得比TLD算法更理想的視頻目標(biāo)跟蹤算法。為了達(dá)成上述目的，本專利技術(shù)的解決方案是一種基于TLD的視頻目標(biāo)跟蹤方法，包括如下步驟(I)在跟蹤目標(biāo)的起始巾貞，根據(jù)給出的所跟蹤目標(biāo)的位置和大小信息，生成圖像子窗口，對檢測器進(jìn)行訓(xùn)練；(2)跟蹤器根據(jù)目標(biāo)在上一幀中的位置和大小信息，估計(jì)出目標(biāo)在當(dāng)前幀中所在的區(qū)域；(3)用檢測器對當(dāng)前幀進(jìn)行檢測，找出當(dāng)前幀中所有可能的目標(biāo)；(4)對跟蹤器和檢測器的結(jié)果進(jìn)行融合處理，判斷出當(dāng)前幀是否存在目標(biāo)，如果不存在目標(biāo)，則返回步驟(3)開始對下一幀的處理；如果存在目標(biāo)，則給出目標(biāo)位置以及判斷當(dāng)前幀的跟蹤軌跡是否有效，如果無效，則返回步驟(2)，對下一幀進(jìn)行處理；如果有效，則進(jìn)入學(xué)習(xí)模塊，通過P-N Learning完成檢測器的在線更新，然后回到步驟(2)，開始對下一幀進(jìn)行處理。上述步驟(2)的具體內(nèi)容是(21)目標(biāo)在上一幀的目標(biāo)邊界框由其位置和大小信息獲得，由Cell FoT在該邊界框中選擇好的特征點(diǎn)，并通過光流法完成相鄰兩幀間特征點(diǎn)的跟蹤；(22)通過Σ刪除部分經(jīng)過一次光流法后跟蹤失敗的局部跟蹤器，所述Σ包括Nh、Mp 和 NCC ；(23)對經(jīng)由Σ刪除后最終剩余的局部跟蹤器，計(jì)算每個局部跟蹤器對應(yīng)的位移以及其距離在相鄰幀間的比例變化值，以位移以及距離比例的中位值分別作為所跟蹤目標(biāo)邊界框在相鄰幀間的位移變化和大小變化，從而估計(jì)得到在當(dāng)前幀上的目標(biāo)區(qū)域。上述步驟(22)的詳細(xì)內(nèi)容是首先，當(dāng)前幀的所有局部跟蹤器通過NCC進(jìn)行刪選；然后，滿足NCC后的局部跟蹤器加入到Nh進(jìn)行刪選；最后，剩余的局部跟蹤器加入到Mp進(jìn)行最后的刪選，最終得到的局部跟蹤器用來更新目標(biāo)邊界框。上述步驟(3)的具體內(nèi)容是(31)使用卡爾曼濾波器和Mp對TLD檢測區(qū)域進(jìn)行預(yù)測，完成目標(biāo)在當(dāng)前幀中大致區(qū)域的預(yù)測；卡爾曼濾波器根據(jù)之前幀中目標(biāo)的位置，以目標(biāo)的中心點(diǎn)位置為狀態(tài)量，預(yù)測出當(dāng)前幀中目標(biāo)的中心點(diǎn)，以該點(diǎn)為中心劃定一個矩形區(qū)域，且該矩形區(qū)域的大小為上一幀目標(biāo)面積的4倍，該矩形即為卡爾曼濾波器最終預(yù)測得到的目標(biāo)區(qū)域；Mp根據(jù)之前幀中目標(biāo)運(yùn)動的方向預(yù)測目標(biāo)在當(dāng)前幀的運(yùn)動方向，根據(jù)上一幀目標(biāo)所在位置，可以在當(dāng)前幀中劃定一個區(qū)域，目標(biāo)假定應(yīng)該出現(xiàn)在該區(qū)域中，該區(qū)域即為Mp預(yù)測得到的區(qū)域；(32)對當(dāng)前幀中所有的圖像子窗口，找出其中與經(jīng)由Kalman預(yù)測得到的目標(biāo)區(qū)域有交集的子窗口 ；再在其中找出包含于經(jīng)由Mp預(yù)測得到的圖像區(qū)域中的子窗口，這些子窗口即為符合卡爾曼濾波器和Mp共同預(yù)測結(jié)果的子窗口 ；(33)對前述符合預(yù)測結(jié)果的圖像子窗口，加入到檢測器中以判讀子窗口中的圖像是否為目標(biāo)。上述步驟(4)中，判斷當(dāng)前幀是否存在目標(biāo)及目標(biāo)位置的判據(jù)如下若跟蹤器和檢測器都沒有跟蹤得到或者檢測得到目標(biāo)信息，則認(rèn)為當(dāng)前幀中不含有目標(biāo)；若跟蹤器和檢測器的結(jié)果中都包含目標(biāo)位置信息，且檢測器認(rèn)為其檢測到的區(qū)域被認(rèn)為非常可能是目標(biāo)，則以檢測器得到的目標(biāo)區(qū)域?yàn)楫?dāng)前幀上的最終目標(biāo)位置，否則，當(dāng)前幀上最終的目標(biāo)位置為跟蹤器和檢測器目標(biāo)位置信息的均值；若跟蹤器有目標(biāo)位置信息，而檢測器沒有得到目標(biāo)位置信息，則以跟蹤器得到的目標(biāo)區(qū)域作為當(dāng)前幀中最終目標(biāo)的位置；若跟蹤器無目標(biāo)位置信息，而檢測器包含目標(biāo)位置信息，則以檢測器檢測得到的區(qū)域作為當(dāng)前幀上最終的目標(biāo)位置。上述步驟(4)中，判斷當(dāng)前幀的跟蹤軌跡是否有效的判據(jù)如下若判讀當(dāng)前幀中存在目標(biāo)，則給出當(dāng)前幀的跟蹤軌道是否有效的置信值，該值通過計(jì)算當(dāng)前跟蹤所得目標(biāo)與已加入到在線模型中圖像區(qū)域之間的相似程度得到，當(dāng)相似程度超過閾值則判定當(dāng)前所得的跟蹤軌道是有效的。上述步驟(4)中，檢測器的在線更新的過程是在P-N Learning中，定義P結(jié)構(gòu)約束和N結(jié)構(gòu)約束，P結(jié)構(gòu)約束用來表征被分類器分類為negative但是結(jié)構(gòu)約束卻要求其類別應(yīng)該為positive的樣本，要求所有靠近有效跟蹤軌道的圖像區(qū)域其類別標(biāo)簽應(yīng)該為positive ；N結(jié)構(gòu)約束表征被分類器分類為positive但是結(jié)構(gòu)約束卻要求其類別為negative的樣本，要求所有包圍有效跟蹤軌道的圖像區(qū)域其類別標(biāo)簽為negative ;P_NLearning通過P結(jié)構(gòu)約束和N結(jié)構(gòu)約束生成有效的訓(xùn)練樣本，形成新 的已標(biāo)簽訓(xùn)練樣本集，把該樣本集加入到檢測器中，更新檢測器中的集成分類器，同時(shí)更新在線目標(biāo)模型和最近鄰域分類器。采用上述方案后，本專利技術(shù)具有以下改進(jìn)(I)在TLD的跟蹤器中采用Cell FoT+ Σ法進(jìn)行設(shè)計(jì)，取代原始TLD算法中的GridFoT+FB+NCC法，該方法不僅具有較強(qiáng)的跟蹤精度和魯棒性，而且也提高了運(yùn)算速度；(2)在TLD的檢測器中引入Kalman濾波器預(yù)測TLD在當(dāng)前幀上的目標(biāo)檢測區(qū)域，從而縮小了 TLD算法中的檢測范圍，在跟蹤精度基本保持不變的情況下提高TLD算法的處理速度；(3)在TLD的檢測器中加入了基于馬爾可夫模型的方向預(yù)測器，提高了 TLD對相似目標(biāo)交會后的辨識能力。附圖說明圖I是現(xiàn)有TLD算法的框架結(jié)構(gòu)圖；圖2是Cell FoT示意圖；圖3是鄰域一致預(yù)測器示意圖；圖4是使用Kalman濾波器對目標(biāo)運(yùn)動本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于TLD的視頻目標(biāo)跟蹤方法，其特征在于包括如下步驟：（1）在跟蹤目標(biāo)的起始幀，根據(jù)給出的所跟蹤目標(biāo)的位置和大小信息，生成圖像子窗口，對檢測器進(jìn)行訓(xùn)練；（2）跟蹤器根據(jù)目標(biāo)在上一幀中的位置和大小信息，估計(jì)出目標(biāo)在當(dāng)前幀中所在的區(qū)域；（3）用檢測器對當(dāng)前幀進(jìn)行檢測，找出當(dāng)前幀中所有可能的目標(biāo)；（4）對跟蹤器和檢測器的結(jié)果進(jìn)行融合處理，判斷出當(dāng)前幀是否存在目標(biāo)，如果不存在目標(biāo)，則返回步驟（3）開始對下一幀的處理；如果存在目標(biāo)，則給出目標(biāo)位置以及判斷當(dāng)前幀的跟蹤軌跡是否有效，如果無效，則返回步驟（2），對下一幀進(jìn)行處理；如果有效，則進(jìn)入學(xué)習(xí)模塊，通過P？N？Learning完成檢測器的在線更新，然后回到步驟（2），開始對下一幀進(jìn)行處理。
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：周鑫，錢秋朦，王從慶，葉永強(qiáng)，
申請(專利權(quán))人：南京航空航天大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。