一種基于多攝像機的區域可疑目標跟蹤與識別方法技術

本發明專利技術提出了一種基于多攝像機的區域可疑目標跟蹤與識別方法，解決小區域范圍內單一可疑目標的準確識別與跟蹤的問題。首先在多攝像機中的一個攝像機里確認要跟蹤的目標，然后對該目標進行特征提取，同時判斷出目標的位置和大小，然后將目標的特征信息進行更新。其他攝像機也同步運行，實時對目標進行檢測，一旦接受到第一個攝像機發出的觸發消息，則相應觸發目標識別單元來識別要跟蹤的目標，并將其更新，接著利用檢測器和跟蹤器完成對可疑目標的魯棒跟蹤，從而實現了多攝像機下的區域可疑目標跟蹤與識別。所述方法的目標跟蹤不僅在單攝像機情況下具有良好的魯棒性，在多攝像機目標識別與跟蹤時仍能保證較高的準確性，因此具有較好的應用前景。

【技術實現步驟摘要】
一種基于多攝像機的區域可疑目標跟蹤與識別方法
本專利技術屬于目標跟蹤領域，具體涉及一種基于多攝像機的區域可疑目標跟蹤與識別方法。
技術介紹
視頻跟蹤是計算機視覺領域的一個基礎研究課題，也是一個非常具有挑戰性的研究方向。在當前的現實生活中，視頻跟蹤技術已經在各種領域內得到了廣泛應用，其中包括視頻監控、軍事工程、交通管理、智能機器人和人機交互等，具有很高的學術研究和應用價值。目前大多數關于視頻目標跟蹤的研究是基于單攝像機完成的。但是基于單攝像機的視頻跟蹤系統存在很多無法解決的問題，其中包括目標遮擋、攝像機視野有限、不能進行全方位的跟蹤等問題，而基于多攝像機的跟蹤系統能夠很好的克服這些問題。因此，基于多攝像機的目標跟蹤已經成為研究熱點。顯然，基于多攝像機的目標跟蹤技術無論是在學術研究領域，還是在工程應用中都具有非常重要的意義。目前已有的目標跟蹤方法大多數僅用于解決單攝像機的目標跟蹤，很少能夠解決多個攝像機同時跟蹤同一個目標的問題，因此無法做到很好的魯棒性。如公開號為CN102881024A的中國專利公開了一種“基于TLD的視頻目標跟蹤方法”，該方法基于TLD框架只在單個攝像機跟蹤時具有很好的魯棒性。本專利提出了一種基于多攝像機的區域可疑目標跟蹤與識別方法及框架思路，該方法能夠解決小區域范圍內單一可疑目標的準確識別與跟蹤，并且所設計框架思路清晰，便于實現與擴展，方法簡單準確，實時性和實用性強。該方法下的目標跟蹤不僅在單攝像機情況下具有良好的魯棒性，在多攝像機目標跟蹤時仍能保證較高的準確性，因此具有較好的應用前景。
技術實現思路
本專利技術要解決的技術問題在于：克服現有技術不足，提出一種基于多攝像機的區域可疑目標跟蹤與識別方法，解決小區域范圍內單一可疑目標的準確識別與跟蹤的問題。本專利技術解決其技術問題所采用的技術方案是：一種基于多攝像機的區域可疑目標跟蹤與識別方法，包括如下步驟：在多攝像機中的一個攝像機里，將觸發報警的可疑目標前景圖提取出來，執行如下步驟：步驟A，在提取出的可疑目標前景圖中，對該目標用外接矩形框在視頻圖像上進行表示，然后使用人機交互方式迅速確認所要跟蹤的目標，并利用所選定目標的位置、大小及提取的特征信息，對檢測器和跟蹤器分別進行初始化，觸發目標跟蹤和目標檢測，同時向其它攝像機的目標識別單元發出觸發目標識別的消息；步驟B，跟蹤器根據上一幀圖像中目標的位置和大小信息，估計當前幀圖像中目標的位置和大小；同時，使用檢測器對當前幀圖像進行檢測，找出當前幀圖像中所有可能的目標；步驟C，對跟蹤器和檢測器的處理結果進行融合，判斷出當前幀圖像是否存在目標以及目標的位置和大小：C-1，如果不存在目標，則返回步驟B開始對下一幀圖像進行檢測；C-2，如果存在目標，則將目標的位置、大小及相應的特征信息進行保存，并帶入學習組件，通過學習組件完成對檢測器的在線更新，此時被檢測出的運動目標圖像也要間隔進行保存，接著將訓練過的檢測器及目標圖像傳遞給其它攝像機的目標識別單元，然后跳到步驟B，開始對下一幀圖像的處理；對于其它攝像機，與前述拍攝到可疑目標的攝像機同步運行，具體執行以下步驟：步驟D，對運動目標進行檢測：如果沒有檢測到目標，則繼續執行檢測，如果檢測到目標，進入下一步驟；步驟E，判斷是否接受到步驟A所述的觸發目標識別的消息，如果沒有，則跳轉至步驟D，否則觸發目標識別單元，進入下一步驟；步驟F，通過傳遞到本攝像機目標識別單元的目標圖像，評估當前幀圖像中所有分離出的運動目標圖像，同時融合已訓練過的檢測器對當前幀圖像中運動目標的處理結果，判斷出當前幀圖像是否存在要跟蹤的目標：如果連續N幀圖像都檢測出目標，判定可疑目標在本攝像機出現，否則，則判定可疑目標沒有出現，其中N為自然數；步驟G，如果可疑目標沒有出現，則返回步驟F繼續對下一幀圖像分離出的目標進行識別；如果可疑目標出現，則根據步驟C-2，開始對下一幀圖像進行處理。進一步的，本專利技術一種基于多攝像機的區域可疑目標跟蹤與識別方法，所述步驟A中是采用背景差法進行目標前景圖提取。進一步的，本專利技術一種基于多攝像機的區域可疑目標跟蹤與識別方法，所述步驟B中跟蹤器根據上一幀圖像中目標的位置和大小信息，估計當前幀圖像中目標的位置和大小的具體步驟如下：B1，根據目標在上一幀圖像的位置和大小信息獲得目標邊界框，并在目標邊界框內提取特征點；B2，通過光流法完成相鄰兩幀圖像間目標邊界框內特征點的匹配跟蹤；當單特征點的累計位移偏差大于設定的閾值時則認為目標中對應的特征點跟蹤錯誤，將其刪掉，否則保留；B3，利用保留下來的特征點對當前幀圖像的目標邊界框進行評估，從而估計出當前幀圖像中目標的位置和大小。進一步的，本專利技術一種基于多攝像機的區域可疑目標跟蹤與識別方法，所述步驟B中使用檢測器對當前幀圖像進行檢測，找出當前幀圖像中所有可能的目標的具體步驟如下：a，計算當前幀圖像中所有用于掃描的目標邊界框的方差值，用所有掃描框的方差與目標框的方差進行比較，過濾掉所有比目標框的方差小于比例閥值的掃描框；b，定義M個基本分類器，對于所有未被過濾掉的掃描框都要進行n種尺度變換，每個基本分類器都會在變換后掃描框內的隨機選取m處位置進行像素均值的比較，比較的結果會產生一個后驗概率，計算M個基本分類器所有后驗概率的平均值，如果平均值大于比例閥值，那么此時將掃描框歸類為目標；M、n、m均為自然數；c，使用支持向量機SVM(SupportVectorMachine)對剩余的掃描框進行分類，如果掃描框被支持向量機SVM分為正類，那么該掃描框即被選為候選目標。進一步的，本專利技術一種基于多攝像機的區域可疑目標跟蹤與識別方法，所述步驟C對跟蹤器和檢測器的處理結果進行融合，判斷出當前幀圖像是否存在目標以及目標的位置和大小的具體步驟如下：C1，若跟蹤器和檢測器沒有跟蹤到或者檢測到目標信息，則認為當前幀圖像中不存在目標或者目標已經丟失；C2，若跟蹤器有跟蹤結果，而檢測器沒有檢測到目標，且跟蹤到的目標的置信度大于某一閾值時，則將跟蹤器的結果作為當前幀圖像的目標；C3，若跟蹤器沒有跟蹤到目標，而檢測器檢測到目標，且檢測到的目標的置信度大于某一閾值時，則將檢測器的結果作為當前幀圖像的目標；C4，若跟蹤器和檢測器都檢測到目標時，分為兩種情況：一、如果跟蹤器與檢測器跟蹤到的目標是完全重疊時，則認為該目標即為當前幀圖像要跟蹤的目標；二、如果跟蹤器與檢測器得到的目標是不完全重疊的，則計算檢測器和跟蹤器的置信度，如果檢測器的置信度大于跟蹤器的置信度且重疊面積小于一定閾值時，則將檢測器的結果作為當前幀的目標，否則，將跟蹤器的檢測結果作為當前幀的目標。進一步的，本專利技術一種基于多攝像機的區域可疑目標跟蹤與識別方法，所述步驟C-2中檢測器在線更新的具體步驟如下：101，在學習組件中，如果檢測器將步驟C中最后確定的目標判斷為非目標，則將其改為目標，并將其添加訓練集中進行更新；102，在學習組件中，如果檢測器檢測到有多個目標，包括要跟蹤的目標，根據目標在每幀圖像中只有一個的約束條件，則將步驟C中確定的目標之外的其它目標改為非目標，并添加訓練集中進行更新；103，在學習組件中，如果目標識別單元已經識別出目標，則將其添加到訓練集中進行更新；104，利用已經更新過的訓練集來更新在線目標本文檔來自技高網...

【技術保護點】
一種基于多攝像機的區域可疑目標跟蹤與識別方法，其特征在于，在多攝像機中的一個攝像機里，將觸發報警的可疑目標前景圖提取出來，執行如下步驟：步驟A，在提取出的可疑目標前景圖中，對該目標用外接矩形框在視頻圖像上進行表示，然后使用人機交互方式迅速確認所要跟蹤的目標，并利用所選定目標的位置、大小及提取的特征信息，對檢測器和跟蹤器分別進行初始化，觸發目標跟蹤和目標檢測，同時向其它攝像機的目標識別單元發出觸發目標識別的消息；步驟B，跟蹤器根據上一幀圖像中目標的位置和大小信息，估計當前幀圖像中目標的位置和大小；同時，使用檢測器對當前幀圖像進行檢測，找出當前幀圖像中所有可能的目標；步驟C，對跟蹤器和檢測器的處理結果進行融合，判斷出當前幀圖像是否存在目標以及目標的位置和大小：C?1，如果不存在目標，則返回步驟B開始對下一幀圖像進行檢測；C?2，如果存在目標，則將目標的位置、大小及相應的特征信息進行保存，并帶入學習組件，通過學習組件完成對檢測器的在線更新，此時被檢測出的運動目標圖像也要間隔進行保存，接著將訓練過的檢測器及目標圖像傳遞給其它攝像機的目標識別單元，然后跳到步驟B，開始對下一幀圖像的處理；對于其它攝像機，與前述拍攝到可疑目標的攝像機同步運行，具體執行以下步驟：步驟D，對運動目標進行檢測：如果沒有檢測到目標，則繼續執行檢測，如果檢測到目標，進入下一步驟；步驟E，判斷是否接受到步驟A所述的觸發目標識別的消息，如果沒有，則跳轉至步驟D，否則觸發目標識別單元，進入下一步驟；步驟F，通過傳遞到本攝像機目標識別單元的目標圖像，評估當前幀圖像中所有分離出的運動目標圖像，同時融合已訓練過的檢測器對當前幀圖像中運動目標的處理結果，判斷出當前幀圖像是否存在要跟蹤的目標：如果連續N幀圖像都檢測出目標，判定可疑目標在本攝像機出現，否則，則判定可疑目標沒有出現，其中N為自然數；步驟G，如果可疑目標沒有出現，則返回步驟F繼續對下一幀圖像分離出的目標進行識別；如果可疑目標出現，則根據步驟C?2，開始對下一幀圖像進行處理。...

【技術特征摘要】
1.一種基于多攝像機的區域可疑目標跟蹤與識別方法，其特征在于，在多攝像機中的第一攝像機里，將觸發報警的可疑目標前景圖提取出來，執行如下步驟：步驟A，在提取出的可疑目標前景圖中，對該可疑目標用外接矩形框在視頻圖像上進行表示，然后使用人機交互方式迅速確認所要跟蹤的可疑目標，并利用所選定可疑目標的位置、大小及提取的特征信息，對檢測器和跟蹤器分別進行初始化，觸發目標跟蹤和目標檢測，同時向其它攝像機的目標識別單元發出觸發目標識別的消息；步驟B，跟蹤器根據上一幀圖像中目標的位置和大小信息，估計當前幀圖像中目標的位置和大小；同時，使用檢測器對當前幀圖像進行檢測，找出當前幀圖像中所有可能的目標；步驟C，對跟蹤器和檢測器的處理結果進行融合，判斷出當前幀圖像是否存在目標以及目標的位置和大小：C-1，如果不存在目標，則返回步驟B開始對下一幀圖像進行檢測；C-2，如果存在目標，則將目標的位置、大小及相應的特征信息進行保存，并帶入學習組件，通過學習組件完成對檢測器的在線更新，此時被檢測出的運動目標圖像也要間隔進行保存，接著將訓練過的檢測器及目標圖像傳遞給其它攝像機的目標識別單元，然后跳到步驟B，開始對下一幀圖像的處理；對于其它攝像機，與前述第一攝像機同步運行，具體執行以下步驟：步驟D，對運動目標進行檢測：如果沒有檢測到運動目標，則繼續執行檢測，如果檢測到運動目標，進入下一步驟；步驟E，判斷是否接受到步驟A所述的觸發目標識別的消息，如果沒有，則跳轉至步驟D，否則觸發目標識別單元，進入下一步驟；步驟F，通過傳遞到本攝像機目標識別單元的目標圖像，評估當前幀圖像中所有分離出的運動目標圖像，同時融合已訓練過的檢測器對當前幀圖像中運動目標的處理結果，判斷出當前幀圖像是否存在要跟蹤的可疑目標：如果連續N幀圖像都檢測出可疑目標，判定可疑目標在本攝像機出現，否則，則判定可疑目標沒有出現，其中N為自然數；步驟G，如果可疑目標沒有出現，則返回步驟F繼續對下一幀圖像分離出的目標進行識別；如果可疑目標出現，則根據步驟C-2，開始對下一幀圖像進行處理。2.如權利要求1所述的一種基于多攝像機的區域可疑目標跟蹤與識別方法，其特征在于，所述步驟A中是采用背景差法進行目標前景圖提取。3.如權利要求1所述的一種基于多攝像機的區域可疑目標跟蹤與識別方法，其特征在于，所述步驟B中跟蹤器根據上一幀圖像中目標的位置和大小信息，估計當前幀圖像中目標的位置和大小的具體步驟如下：B1，根據目標在上一幀圖像的位置和大小信息獲得目標邊界框，并在目標邊界框內提取特征點；B2，通過光流法完成相鄰兩幀圖像間目標邊界框內特征點的匹配跟蹤；當單特征點的累計位移偏差大于設定的閾值時則認為目標中對應的特征點跟蹤錯誤，將其刪掉，否則保留；B3，利用保留下來的特征點對當前幀圖像的目標邊界框進行評估，從而估計出當前幀圖像中目標的位置和大小。4.如權利要求1所述的一種基于多攝像機的區域可疑目標跟蹤與識別方法，其特征在于，所述步驟B中使用檢測器對當前幀圖像進行檢測，找出當前幀圖像中所有可能的目標的具體步驟如下：a，計算當前幀圖像中所有用于掃描的目標邊界框的方差值，用所有掃描框的方差與目標框的方差進行比較，過濾掉所有比目標框的方差小于比例閥值的掃描框；b，定義M個基本分類器，對于所有未被過濾掉的掃描框都要進行n種尺度變換，每個基本分類器都會在變換后掃描框內的隨機選取m處位置進行...

【專利技術屬性】
技術研發人員：韓光，李曉飛，孫寧，顧靜，任陶瑞，
申請(專利權)人：南京郵電大學，
類型：發明
國別省市：江蘇;32