一種基于CNN和CF的多模板目標跟蹤方法技術

本發明專利技術公開了一種基于CNN和CF的多模板目標跟蹤方法，本發明專利技術中提出利用若干固定的尺度值的方法，在求解卷積操作前先將模板歸一化大小，然后在得到最大響應值之后反推出最合適的尺度；雖然在現有的DSST算法中，采用將三維空間最優尺度搜索分解為在二維空間搜尋最佳位置，在一維空間內搜索最優尺度的機制，但是迭代慢并且計算復雜度高；而針對實無人機平臺運動隨意，速度不定等特點，采用固定尺度值的方法，不僅滿足跟蹤算法需要，而且滿足運算的實時性；特征提取階段，將這兩種特征進行分別提取，并訓練出兩組不同的濾波器，根據當前目標的外觀和背景變化，設定不同權重，進行目標的外觀表征。然后將通過不同特征得到的結果進行融合，得到跟蹤結果。

A multi template target tracking method based on CNN and CF

The invention discloses a method for tracking multiple target template based on CF and CNN, using the method of some fixed scale value of the present invention, in solving the convolution operation before the template size normalized, and then introduced the anti appropriate scale after getting the maximum response value; although in the existing DSST algorithm, the search for the optimal scale of three-dimensional space decomposition of the search for the best position in the two-dimensional space, the search mechanism of optimal scale in one-dimensional space, but the iterative slow and high computational complexity; and according to the real UAV platform movement speed at random, uncertain, using the method of fixed scale value, not only to meet the needs and tracking algorithm. To meet the real-time operation; feature extraction stage, the two features are extracted respectively, and trained two groups of different filters, according to the current target outside View and background changes, setting different weights, and performing the visual representation of the target. Then, the results obtained by different characteristics are fused, and the tracking results are obtained.

【技術實現步驟摘要】
一種基于CNN和CF的多模板目標跟蹤方法
本專利技術屬于計算機視覺
，涉及一種基于CNN和CF的多模板目標跟蹤方法。
技術介紹
目標跟蹤作為計算機視覺技術的重要組成部分，在車輛導航、人機交互、醫學成像、視頻監控等眾多領域都有廣闊的應用。目標跟蹤的核心問題在于在給定視頻第一幀中的目標位置，對之后每一幀進行目標定位。影響目標跟蹤的因素主要有目標快速移動、光照變化、尺度變化、背景干擾及遮擋等因素。經過國內外學者的不斷研究，目標跟蹤的算法得到了迅速的發展。然而，隨著無人機技術的不斷發展，視頻監控已經由傳統的固定攝像頭監控發展成基于無人機的動態監控形式，同時也在監控視頻序列中引入了目標縱橫比改變、外觀模型視角變化等關鍵性問題。目前現有的跟蹤算法在這些影響因素上表現不佳，無法完整地跟蹤整個目標，從而嚴重地制約了目標跟蹤技術在實際場景中的應用。在當前目標跟蹤的研究領域中，主要包括兩種方法：一類是基于對于目標本身進行描述和刻畫的生成式模型；另一類旨在將目標和背景分離開的判別式模型。生成式模型重點在于建立目標外觀模型的表征，而判別式模型將跟蹤問題轉換為目標和背景的二分類問題。由于目標跟蹤過程中時常受到背景雜波、光照變化以及遮擋等因素的影響。自從2004年被提出以來，基于判別式模型的跟蹤方法受到了廣泛的關注。相關濾波器是一種傳統的信號處理方法，并在2010年被引入跟蹤應用中。CSK算法通過建立循環移位的結構將目標進行稠密采樣，以此增加正負樣本的數目，以此解決目標跟蹤之中訓練樣本不足的問題。除此之外，通過對于這些樣本進行循環移位的處理，將對目標樣本的計算轉化到頻率域中的求解，通過使用快速傅里葉變換的方法，大大地提高目標跟蹤的效率。然而CSK方法采用的是單通道灰度值圖像，在特征表征上不夠魯棒。針對以上問題，研究人員陸續提出利用多通道HOG特征的KCF算法和利用顏色矩陣特征的CN算法。除此之外，早期相關濾波器跟蹤方法在卷積求解中使用的是固定大小的模板，使其沒有尺度自適應的功能。相應地，有學者針對目標的尺度縮放變化、部分遮擋等問題提出了相應的解決方案。例如：DDST跟蹤算法增加了一個尺度濾波器來適應目標的尺度變化；SAMF跟蹤算法通過利用顏色空間和HOG特征增加特征表征的魯棒性；STC算法通過設計目標的空間概率密度函數、以及利用背景的上下文信息等方法，提升了算法在遮擋情況下的跟蹤性能。盡管上述提及的跟蹤算法在OTB上取得了不錯的效果。然而，現有的絕大多數跟蹤算法在實際場景中表現不盡人意。主要原因有三：(1)OTB測試集上的視頻來源于固定視角的攝像頭，而實際場景中無人機或其他平臺拍攝的視頻常伴隨視角的變化。由于在發生視角變化時，目標外觀模型變化很大，會引起目標漂移甚至丟失；(2)在OTB測試集中，由于攝像頭相對固定，故而目標的運動軌跡相對規矩。然而由于無人機運動的隨意性，造成目標相對較大和相對較快的尺度和速度變化，給傳統的跟蹤算法造成了難度；(3)在OTB數據庫中提及的遮擋多為短時間遮擋或者部分遮擋，然而在實際場景中經常出現較長時間的遮擋情況，由于現有算法的更新機制和重檢測機制都缺乏相應的應對，故而現有方法在長期遮擋的影響下表現不佳，不能重新檢測到目標而導致跟蹤任務失敗。針對目前跟蹤算法不能有效解決視角變化的跟蹤問題的現狀，需要設計一種方法建立多個模板分別對應不同的角度，進行多角度和多個目標模板匹配的跟蹤算法。
技術實現思路
有鑒于此，本專利技術提出了一種基于CNN(卷積神經網絡)和CF(相關濾波器)的多模板目標跟蹤方法。該方法是一種實時魯棒的跟蹤算法，在不同的跟蹤場景中取得了不錯的效果。一種目標跟蹤方法，具體步驟包括：步驟一、首先通過開源的3D模型數據集TurboSquid獲取目標的三維模型，通過對模型的三維旋轉和放縮得到不同視角下的目標圖片；然后通過卷積神經網絡，離線訓練得到不同視角下的目標圖片與視角信息之間的對應關系；步驟二、在目標跟蹤過程中，對于當前幀圖像t，首先在目標區域內提取特征信息，然后利用特征信息計算得到相關濾波器的參數；當得到下一幀圖像t+1的信息后，首先在下一幀圖像t+1中提取特征，然后與圖像t的相關濾波器參數進行卷積運算，在卷積后的結果中找最大的響應值，該最大響應值對應的位置與卷積運算結果的中心點之間的矢量即為目標的運動矢量信息；目標的運動矢量信息與當前幀目標的位置疊加得到目標在下一幀圖像t+1的位置；步驟三、依次將當前幀圖像t的目標大小乘以不同尺度值，得到對應的多個尺寸，根據每個尺寸，在步驟二中得到的目標在下一幀圖像t+1的位置，對圖像t+1分別進行切片，得到大小不同的圖像片，再將這些圖像片歸一化成最初的目標大小；將歸一化后的圖像進行特征提取，再將該特征與步驟二中計算得到的相關濾波器進行卷積運算，將每一個尺度下的卷積結果中的最大響應值作為該尺度下的響應值；然后尋找不同尺度下的最大響應值，其對應的尺度作為當前目標的尺度大小；步驟四、步驟二相關濾波器卷積后的結果中，以最大峰值的位置為中心，其附近的11×11的區域內響應值求平均值作為信號處理中的峰值響應值，將區域內其余部分的平均響應值看作旁瓣響應值，將當前峰值響應值與旁瓣響應值的比值作為PSR值；判斷PSR值是否低于設定閾值：如果是，則說明需要重檢，執行步驟五；如果否，則說明不需要重檢，步驟二得到的位置信息和步驟三得到的尺度大小為本輪目標跟蹤的結果，并作為當前幀結果，返回步驟二繼續跟蹤目標；步驟五、在圖像t+1之前的圖像中尋找PSR值高于設定閾值時的跟蹤的圖像結果，將其作為數據輸入到步驟一已經訓練好的卷積神經網絡中，得到目標此刻對應的視角信息；步驟六、在步驟五得到目標的視角信息后，利用步驟一中的三維模型，經過視角旋轉后還原得到當前時刻的目標圖像；對還原后的目標圖像重新進行特征提取，并訓練特征對應的相關濾波器，然后利用此相關濾波器參數與圖像t+1進行卷積運算，尋找響應的最大值作為目標位置；根據步驟三的方法，利用還原后的目標圖像得到圖像t+1的尺度大小，將本步驟得到的目標位置和尺度大小作為當前幀結果，返回步驟二繼續跟蹤目標，直到視頻結束。較佳的，所述特征為HOG特征和顏色特征串接成的特征Φ；所述相關濾波器參數通過該特征Φ訓練得到，具體為：相關濾波器對應的優化方程為w為待求解的相關濾波器參數，y為目標函數，λ為控制優化方程復雜度的正則化參數；通過優化方程計算得到相關濾波器的參數w。較佳的，所述提取的特征為HOG特征和顏色特征，其對應的優化方程為其中，i＝1,2；在i＝1和i＝2時，Φi分別表示HOG特征和顏色特征，wi分別表示HOG特征和顏色特征對應的相關濾波器參數，w表示HOG特征和顏色特征串接后的特征；Ψ1和Ψ2分別表示隨機采樣樣本的HOG特征和顏色特征；通過求解優化方程得到HOG特征和顏色特征對應的相關濾波器參數w1和w2，再將計算得到的兩組相關濾波器參數串接組合為最后的相關濾波器參數。較佳的，卷積神經網絡輸入的目標圖片中還包括目標圖片的切片圖像。較佳的，所述步驟三中，所述不同尺度包括11個固定大小的尺度值，范圍為0.85到1.15，步長為0.03。本專利技術具有如下有益效果：1、本專利技術方法中沿用傳統相關濾波器的檢測-更新-再檢測的機制。針對傳統相關濾波器存本文檔來自技高網...

【技術保護點】
一種目標跟蹤方法，其特征在于，具體步驟包括：步驟一、首先通過開源的3D模型數據集TurboSquid獲取目標的三維模型，通過對模型的三維旋轉和放縮得到不同視角下的目標圖片；然后通過卷積神經網絡，離線訓練得到不同視角下的目標圖片與視角信息之間的對應關系；步驟二、在目標跟蹤過程中，對于當前幀圖像t，首先在目標區域內提取特征信息，然后利用特征信息計算得到相關濾波器的參數；當得到下一幀圖像t+1的信息后，首先在下一幀圖像t+1中提取特征，然后與圖像t的相關濾波器參數進行卷積運算，在卷積后的結果中找最大的響應值，該最大響應值對應的位置與卷積運算結果的中心點之間的矢量即為目標的運動矢量信息；目標的運動矢量信息與當前幀目標的位置疊加得到目標在下一幀圖像t+1的位置；步驟三、依次將當前幀圖像t的目標大小乘以不同尺度值，得到對應的多個尺寸，根據每個尺寸，在步驟二中得到的目標在下一幀圖像t+1的位置，對圖像t+1分別進行切片，得到大小不同的圖像片，再將這些圖像片歸一化成最初的目標大小；將歸一化后的圖像進行特征提取，再將該特征與步驟二中計算得到的相關濾波器進行卷積運算，將每一個尺度下的卷積結果中的最大響應值作為該尺度下的響應值；然后尋找不同尺度下的最大響應值，其對應的尺度作為當前目標的尺度大小；步驟四、步驟二相關濾波器卷積后的結果中，以最大峰值的位置為中心，其附近的11×11的區域內響應值求平均值作為信號處理中的峰值響應值，將區域內其余部分的平均響應值看作旁瓣響應值，將當前峰值響應值與旁瓣響應值的比值作為PSR值；判斷PSR值是否低于設定閾值：如果是，則說明需要重檢，執行步驟五；如果否，則說明不需要重檢，步驟二得到的位置信息和步驟三得到的尺度大小為本輪目標跟蹤的結果，并作為當前幀結果，返回步驟二繼續跟蹤目標；步驟五、在圖像t+1之前的圖像中尋找PSR值高于設定閾值時的跟蹤的圖像結果，將其作為數據輸入到步驟一已經訓練好的卷積神經網絡中，得到目標此刻對應的視角信息；步驟六、在步驟五得到目標的視角信息后，利用步驟一中的三維模型，經過視角旋轉后還原得到當前時刻的目標圖像；對還原后的目標圖像重新進行特征提取，并訓練特征對應的相關濾波器，然后利用此相關濾波器參數與圖像t+1進行卷積運算，尋找響應的最大值作為目標位置；根據步驟三的方法，利用還原后的目標圖像得到圖像t+1的尺度大小，將本步驟得到的目標位置和尺度大小作為當前幀結果，返回步驟二繼續跟蹤目標，直到視頻結束。...

【技術特征摘要】
1.一種目標跟蹤方法，其特征在于，具體步驟包括：步驟一、首先通過開源的3D模型數據集TurboSquid獲取目標的三維模型，通過對模型的三維旋轉和放縮得到不同視角下的目標圖片；然后通過卷積神經網絡，離線訓練得到不同視角下的目標圖片與視角信息之間的對應關系；步驟二、在目標跟蹤過程中，對于當前幀圖像t，首先在目標區域內提取特征信息，然后利用特征信息計算得到相關濾波器的參數；當得到下一幀圖像t+1的信息后，首先在下一幀圖像t+1中提取特征，然后與圖像t的相關濾波器參數進行卷積運算，在卷積后的結果中找最大的響應值，該最大響應值對應的位置與卷積運算結果的中心點之間的矢量即為目標的運動矢量信息；目標的運動矢量信息與當前幀目標的位置疊加得到目標在下一幀圖像t+1的位置；步驟三、依次將當前幀圖像t的目標大小乘以不同尺度值，得到對應的多個尺寸，根據每個尺寸，在步驟二中得到的目標在下一幀圖像t+1的位置，對圖像t+1分別進行切片，得到大小不同的圖像片，再將這些圖像片歸一化成最初的目標大小；將歸一化后的圖像進行特征提取，再將該特征與步驟二中計算得到的相關濾波器進行卷積運算，將每一個尺度下的卷積結果中的最大響應值作為該尺度下的響應值；然后尋找不同尺度下的最大響應值，其對應的尺度作為當前目標的尺度大小；步驟四、步驟二相關濾波器卷積后的結果中，以最大峰值的位置為中心，其附近的11×11的區域內響應值求平均值作為信號處理中的峰值響應值，將區域內其余部分的平均響應值看作旁瓣響應值，將當前峰值響應值與旁瓣響應值的比值作為PSR值；判斷PSR值是否低于設定閾值：如果是，則說明需要重檢，執行步驟五；如果否，則說明不需要重檢，步驟二得到的位置信息和步驟三得到的尺度大小為本輪目標跟蹤的結果，并作為當前幀結果，返回步驟二繼續跟蹤目標；步驟五、在圖像t+1之前的圖像...

【專利技術屬性】
技術研發人員：唐林波，韓煜祺，張增鑠，周士超，趙保軍，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：北京,11