基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法技術(shù)

本發(fā)明專利技術(shù)公開了基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，包括如下步驟：采集獲得視頻數(shù)據(jù)；對連續(xù)幀圖像進行目標跟蹤，對于跟蹤到目標的連續(xù)N幀圖像中每一幀，分別計算目標區(qū)域的多維特征作為正常特征、每個特征的相對于均值的偏移量為正常偏移量；當?shù)趂幀圖像中目標丟失時，在第f幀圖像中截取基準圖像，在第f+k幀圖像中截取尺寸較大的待匹配圖像，計算互相關(guān)系數(shù)矩陣；以互相關(guān)系數(shù)最大的位置為中心截取設(shè)定大小的區(qū)域，利用幀差法得到候選區(qū)域，提取候選區(qū)域的多維特征，若每個特征的偏移量與正常偏移量的偏差均在設(shè)定范圍內(nèi)，則以所述候選區(qū)域作為目標區(qū)域；否則k自增k，重復上述過程。該方法能夠夠避免傳統(tǒng)方法中的錯誤檢測。

Small moving target tracking loss detection method based on NCC matched frame difference

The invention discloses a NCC matching frame difference dim moving target tracking method based on weight loss test, which comprises the following steps: collecting video data; continuous images for target tracking, tracking to each frame continuous N image target, the multi-dimensional characteristics of the target area were calculated as normal features, each feature offset relative to the mean normal offset; when the target of the f frame in the image is lost in the f image interception reference image, the f+k image capture a larger size of the image to be matched, calculate the correlation coefficient matrix; the maximum cross-correlation coefficient setting the size of the center area for interception by using frame difference method, candidate region extracting multidimensional feature candidate regions, if the deviation of the offset of each feature and the normal offset in the set range, by The candidate region is used as the target region; otherwise, the K repeats the process by increasing the K itself. This method can avoid the error detection in the traditional method.

【技術(shù)實現(xiàn)步驟摘要】
基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法
本專利技術(shù)屬于目標檢測跟蹤研究領(lǐng)域，具體為基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法。
技術(shù)介紹
目標跟蹤是將不同視頻幀圖像中的目標持續(xù)檢測出來的過程，是計算機視覺研究中相當重要的內(nèi)容。根據(jù)攝像機與運動目標之間的關(guān)系，可將目標檢測分為靜態(tài)背景下和動態(tài)背景下的目標檢測。對于背景不動情況下對運動目標的檢測方法主要有背景差分法、幀間差分法和光流法。而對于背景運動的目標檢測，往往先通過全局運動補償方法獲得視頻圖像相鄰幀之間的全局運動參數(shù)，并對當前圖像與前一幀圖像進行匹配，而后通過上述靜態(tài)場景的方式進行目標檢測與跟蹤。目標跟蹤過程中，視頻圖像中出現(xiàn)的背景雜亂、光照明暗變化、部分或者全部遮擋、目標姿態(tài)改變、目標快速運動等情況都會導致目標連續(xù)跟蹤的失敗。如何在目標跟蹤出現(xiàn)問題后，自動完成目標的重新檢測，形成對運動目標的連續(xù)跟蹤是目標跟蹤問題的重點。
技術(shù)實現(xiàn)思路
有鑒于此，本專利技術(shù)提供了基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，能夠避免由背景變化對弱小動目標直接幀差重檢帶來的錯誤檢測，同時可保證跟蹤的實時處理。為了達到上述目的，本專利技術(shù)的技術(shù)方案為：基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，包括如下步驟：S1：采集獲得視頻數(shù)據(jù)，視頻數(shù)據(jù)由連續(xù)幀的圖像組成。S2：利用目標跟蹤算法對連續(xù)幀圖像進行目標跟蹤，對于跟蹤到目標的連續(xù)N幀圖像，分別計算每一幀圖像中跟蹤到的目標區(qū)域的多維特征作為正常特征、并計算每個正常特征的相對于特征均值的偏移量作為正常偏移量；N的取值大于或者等于2。S3：當跟蹤過程中，第f幀圖像出現(xiàn)目標丟失情況時，以第f幀圖像跟蹤目標框的中心坐標[x0,y0]為中心，截取獲得大小為m×n的基準圖像ROI1。S4：設(shè)定幀間隔k，在第f+k幀圖像里以目標中心坐標[x1,y1]為中心，截取獲得大小為2m×2n的待匹配圖像ROI2。S5：將基準圖像ROI1和待匹配圖像ROI2的數(shù)據(jù)分別進行數(shù)據(jù)歸一化處理，將基準圖像ROI1左上角位置與待匹配圖像ROI2的左上角位置對齊，計算兩重疊區(qū)域的歸一化互相關(guān)系數(shù)NCC，以單個像素為單位滑動基準圖像ROI1，遍歷整個待匹配圖像ROI2，得到的所有的NCC組成互相關(guān)系數(shù)矩陣。互相關(guān)系數(shù)矩陣中互相關(guān)系數(shù)最大的位置為[X,Y]。S6：在待匹配圖像ROI2中以[X,Y]為中心截取大小為m×n的ROI3區(qū)域，利用幀差法對基準圖像ROI1與ROI3進行幀差，并將幀差結(jié)果閾值化得到為候選區(qū)域，提取候選區(qū)域的多維特征，每個特征對應(yīng)與S2中計算得到的正常特征進行偏移量計算，若每個特征的偏移量與正常偏移量的偏差均在設(shè)定范圍內(nèi)，則以候選區(qū)域作為目標區(qū)域；否則k自增k，重復執(zhí)行S4～S6，當k超出設(shè)定范圍時，返回S2。進一步地，多維特征包括長、寬、長寬比、占空比、最小外接矩形的面積、空間擴展度、緊湊性以及對稱度；長、寬和長寬比為區(qū)域的長、寬以及長寬比；占空比為區(qū)域面積與其最小外接矩形面積的比值；最小外接矩形的面積為區(qū)域的最小外接矩形面積；空間擴展度為區(qū)域內(nèi)所有的點到區(qū)域主軸的距離采用主軸長度歸一化后的和值；緊湊性為目標區(qū)域或者候選區(qū)域形狀偏離圓形的程度；對稱度為以目標區(qū)域或者候選區(qū)域長軸為界，左右兩部分的面積的對稱度。進一步地，S2中，對于跟蹤到目標的連續(xù)N幀圖像，計算多維特征，N為大于或者等于2的正整數(shù)；對于多維特征中的第i個特征的特征值，其正常偏移量為：其中，N為累積計算的幀數(shù)，F(xiàn)eature(i)jN幀圖像中第j幀中第i個特征的特征值，F(xiàn)esture_V(i)為N幀圖像中第i個特征的平均值。進一步地，S5中互相關(guān)系數(shù)的計算方法為：其中I1(x,y)為ROI1，x、y為ROI1中像素坐標，p為ROI1中像素個數(shù)I2(Hx,Hy)為ROI20，Hx、Hy為ROI20中像素坐標；和σ1和σ2，分別為區(qū)域ROI1和ROI20的灰度的均值和標準差。進一步地，S6中若得到多個候選區(qū)域，則針對其中的第q個候選區(qū)域ROI3k，q為正整數(shù)，計算對應(yīng)多維特征中特征偏移數(shù)量；其中，num(Feature)為多維特征的特征數(shù)量，logical(*)為對*取邏輯運算結(jié)果，即當*成立時，logical結(jié)果為1，否則為0；i表示第i個特征，取值范圍[1,num(Feature)]；Feature(i)ROI3k表示第i個特征在第k個候選區(qū)域ROI3k中的特征值，q表示特征數(shù)據(jù)相對于正常偏移量的容忍度，取值范圍是[-1,+∞)；當sumF＝sum(Feature)時，第k個候選區(qū)域ROI3k為目標區(qū)域，若存在多個被判定為目標區(qū)域的候選區(qū)域，則取與目標區(qū)域的歐式距離最近的為目標區(qū)域。有益效果：1、本專利技術(shù)在弱小動目標跟蹤丟失后，對跟蹤丟失后的前后幀圖像，利用計算簡單、時間效率高的NCC算法對目標鄰域局部區(qū)域進行匹配，避免了由背景變化對弱小動目標直接幀差重檢帶來的錯誤檢測，同時可保證跟蹤的實時處理。2、本專利技術(shù)在跟蹤目標是弱小動目標的前提下，對匹配后的目標周圍局部區(qū)域與基準圖像進行幀差，對候選區(qū)域基于多維特征(長、寬、長寬比、占空比、最小外接矩形的面積、空間擴展度、緊湊性、對稱度、形狀復雜度)，基于成功跟蹤跟蹤幀累積獲得的特征值及偏移量進行比較篩選，實現(xiàn)對動目標的重新檢測，減少了追蹤過程中人為參與，更有效快捷的恢復對目標的追蹤。附圖說明圖1為專利技術(shù)流程圖；圖2(a)和(b)分別為需跟蹤的目標和待處理的視頻數(shù)據(jù)示例；圖3為跟蹤目標丟失前的圖像；圖4(a)和(b)分別為跟蹤目標丟失后獲取的局部匹配基準圖像和待匹配局部圖像，(c)為利用NCC匹配后基準圖像在待匹配圖像中的位置顯示。圖5為幀差法重捕獲的目標及目標外接矩形框的顯示。具體實施方式下面結(jié)合附圖并舉實施例，對本專利技術(shù)進行詳細描述。實施例1、基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，其流程如圖1所示，包括如下步驟：S1：采集獲得視頻數(shù)據(jù)，視頻數(shù)據(jù)由連續(xù)幀的圖像組成；本實施例中利用無人機自主拍攝，采集視頻的圖像尺寸為720×1280像素的彩色數(shù)據(jù)，無人機飛行高度為103米，視頻幀頻為100幀/秒。本實施例中為需跟蹤的目標和待處理的視頻數(shù)據(jù)如圖2中(a)和(b)所示。S2：利用目標跟蹤算法對連續(xù)幀圖像進行目標跟蹤，對于跟蹤到目標的連續(xù)多幀圖像，分別計算每一幀圖像中跟蹤到的目標區(qū)域的多維特征作為正常特征、并計算每個正常特征的相對于特征均值的偏移量作為正常偏移量；本實施例中，對于跟蹤到目標的連續(xù)N幀圖像，計算多維特征，N為大于或者等于2的正整數(shù)；對于多維特征中的第i個特征的特征值，其正常偏移量為：其中，N為累積計算的幀數(shù)，F(xiàn)eature(i)jN幀圖像中第j幀中第i個特征的特征值，F(xiàn)esture_V(i)為N幀圖像中第i個特征的平均值。如圖3所示為跟蹤目標丟失前的圖像。S3：當跟蹤過程中，第f幀圖像出現(xiàn)目標丟失情況時，以第f幀圖像跟蹤目標框的中心坐標[x0,y0]為中心，截取獲得大小為m×n的基準圖像ROI1；本實施例中設(shè)定m×n為150×150。S4：設(shè)定幀間隔k，在第f+k幀視頻圖像里以目標中心坐標[x1,y1]為中心，截取獲得大小為2m×2n的待匹配圖像ROI2；本實施例中的k取值為50。S5：將基準圖像ROI1和待匹配圖本文檔來自技高網(wǎng)...

【技術(shù)保護點】
基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，其特征在于，包括如下步驟：S1：采集獲得視頻數(shù)據(jù)，所述視頻數(shù)據(jù)由連續(xù)幀的圖像組成；S2：利用目標跟蹤算法對連續(xù)幀圖像進行目標跟蹤，對于跟蹤到目標的連續(xù)N幀圖像，分別計算每一幀圖像中跟蹤到的目標區(qū)域的多維特征作為正常特征、并計算每個正常特征的相對于特征均值的偏移量作為正常偏移量；N的取值大于或者等于2；S3：當跟蹤過程中，第f幀圖像出現(xiàn)目標丟失情況時，以第f幀圖像跟蹤目標框的中心坐標[x

【技術(shù)特征摘要】
1.基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，其特征在于，包括如下步驟：S1：采集獲得視頻數(shù)據(jù)，所述視頻數(shù)據(jù)由連續(xù)幀的圖像組成；S2：利用目標跟蹤算法對連續(xù)幀圖像進行目標跟蹤，對于跟蹤到目標的連續(xù)N幀圖像，分別計算每一幀圖像中跟蹤到的目標區(qū)域的多維特征作為正常特征、并計算每個正常特征的相對于特征均值的偏移量作為正常偏移量；N的取值大于或者等于2；S3：當跟蹤過程中，第f幀圖像出現(xiàn)目標丟失情況時，以第f幀圖像跟蹤目標框的中心坐標[x0,y0]為中心，截取獲得大小為m×n的基準圖像ROI1；S4：設(shè)定幀間隔k，在第f+k幀圖像里以目標中心坐標[x1,y1]為中心，截取獲得大小為2m×2n的待匹配圖像ROI2；S5：將基準圖像ROI1和待匹配圖像ROI2的數(shù)據(jù)分別進行數(shù)據(jù)歸一化處理，將基準圖像ROI1左上角位置與待匹配圖像ROI2的左上角位置對齊，計算兩重疊區(qū)域的歸一化互相關(guān)系數(shù)NCC，以單個像素為單位滑動基準圖像ROI1，遍歷整個待匹配圖像ROI2，得到的所有的NCC組成互相關(guān)系數(shù)矩陣；互相關(guān)系數(shù)矩陣中互相關(guān)系數(shù)最大的位置為[X,Y]；S6：在待匹配圖像ROI2中以[X,Y]為中心截取大小為m×n的ROI3區(qū)域，利用幀差法對基準圖像ROI1與ROI3進行幀差，并將幀差結(jié)果閾值化得到為候選區(qū)域，提取候選區(qū)域的多維特征，每個特征對應(yīng)與所述S2中計算得到的正常特征進行偏移量計算，若每個特征的偏移量與正常偏移量的偏差均在設(shè)定范圍內(nèi)，則以所述候選區(qū)域作為目標區(qū)域；否則k自增k，重復執(zhí)行S4～S6，當k超出設(shè)定范圍時，返回S2。2.如權(quán)利要求1所述的基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方法，其特征在于，所述多維特征包括長、寬、長寬比、占空比、最小外接矩形的面積、空間擴展度、緊湊性以及對稱度；所述長、寬和長寬比為區(qū)域的長、寬以及長寬比；所述占空比為區(qū)域面積與其最小外接矩形面積的比值；所述最小外接矩形的面積為區(qū)域的最小外接矩形面積；所述空間擴展度為區(qū)域內(nèi)所有的點到區(qū)域主軸的距離采用主軸長度歸一化后的和值；所述緊湊性為目標區(qū)域或者候選區(qū)域形狀偏離圓形的程度；所述對稱度為以目標區(qū)域或者候選區(qū)域長軸為界，左右兩部分的面積的對稱度。3.如權(quán)利要求1或者2所述的基于NCC匹配幀差的弱小動目標跟蹤丟失重檢方...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曾大治，梁若飛，章菲菲，陳宇翔，
申請(專利權(quán))人：北京理工雷科電子信息技術(shù)有限公司，
類型：發(fā)明
國別省市：北京,11