一種基于無人機的地面運動目標實時跟蹤方法及系統技術方案

本發明專利技術公開了一種基于無人機的地面運動目標實時跟蹤方法及系統，啟動地面控制站的目標檢測與識別模塊處理攝像機傳回的圖像序列，獲得在地面站顯示屏上目標矩形框大小及中心坐標；啟動目標跟蹤模塊，利用算法融合策略對目標進行跟蹤，若跟蹤有效，則輸出目標定位結果到跟蹤指令生成模塊；若未定位到目標，則啟動目標搜索模塊，搜尋目標并輸出目標定位結果到跟蹤指令生成模塊；根據目標圖像需定位到地面站顯示屏中心的要求，跟蹤指令生成模塊生成無人機位置與姿態調整指令，并通過無線傳輸設備上傳到無人機飛控系統對其位姿進行實時調整。本發明專利技術匹配效率高，易于實現，能有效地進行目標識別，避免背景噪聲的影響。

Real time tracking method and system for ground moving target based on unmanned aerial vehicle

The invention discloses a method and system for real-time tracking of ground moving targets based on UAV Ground Control Station, start the target detection and recognition module for processing image sequences obtained from cameras, display station rectangle size and target center coordinates on the ground; start the target tracking module, fusion strategy for target tracking using the algorithm. If the effective output tracking, target tracking results to the instruction generating module; if you do not locate the target, then start the target search module, searching target and output target tracking results to the instruction generation module; according to the target image positioning to the ground station in the center of the display, tracking module generates the UAV position and attitude adjust the instruction, and UAV flight control system to adjust the position through the wireless transmission equipment to upload. The invention has high matching efficiency, is easy to realize, can effectively carry out target identification, and avoids the influence of background noise.

【技術實現步驟摘要】
一種基于無人機的地面運動目標實時跟蹤方法及系統
本專利技術屬于無人機導航領域，計算機視覺領域，具體涉及使用無人機對目標進行自動檢測與跟蹤的方法。
技術介紹
無人機具有高機動性、高分辨率、隱蔽性好、操作靈活等優勢。所以在目標偵察與跟蹤領域有巨大優勢，比傳統的固定攝像頭監視范圍大，其主要應用于晝夜空中偵察，交通監視，軍事測繪等領域。利用無人機搭載的視頻傳感器對地面運動目標進行跟蹤與分析，在民用與軍事上有重大的實踐意義。首先，對于大多數的視頻監控系統而言，都是在攝像機靜止時對某個需要特殊關注的區域進行監視。背景是靜止的，而作為前景的運動目標是移動的，這種情況下的目標檢測只需作背景差法，就能取得不錯的效果。但是在很多情況下，如以無人機作為載體的攝像機下的目標檢測與跟蹤，其拍攝的圖像序列背景往往是不斷變化的，具有不固定性，這種情況下的待跟蹤目標的檢測與跟蹤顯得異常艱難。其次，對于一個單目標的跟蹤，并不代表無人機的視場中只有單一運動物體，而是場景中有多個移動的物體，對真正的感興趣目標的檢測及跟蹤造成了干擾，不能進行目標的有效識別。還有背景噪聲存在，例如由于陰影或光照的影響等造成提取出來的目標不完整或中心有空洞，在這些情況下，往往使得目標的檢測識別造成了更大的困難。本專利技術中用到的名詞解釋如下：無人機：是利用無線電遙控設備和自備的程序控制裝置操縱的不載人飛機，包括無人固定翼機、無人直升機和多旋翼無人機等。無線傳輸設備：一種使用MAVlink協議的通信設備，通信頻段一般為2.4G。Shi-Tomasi角點：一種圖像特征點的檢測方法，代表圖像的局部特征，對圖像的亮度變化、模糊變化、旋轉變化和視角變化等，均具有較強魯棒性。FRI：以角點為中心的鄰域圖像，本專利技術中取大小為30×30正方形區域。Bhattacharyya系數：度量目標模型和候選模型區域間的相似程度的數值，數值越小，區域相似性越大；反之，區域相似性越大。
技術實現思路
本專利技術旨在提供一種基于無人機的地面運動目標實時跟蹤方法及系統，解決現有技術中目標檢測識別困難的問題。為解決上述技術問題，本專利技術所采用的技術方案是：一種基于無人機的地面運動目標實時跟蹤方法，包括以下步驟：1)無人機按照預定的飛行軌跡進行巡邏，將拍攝的圖像序列傳輸到地面控制站，檢測出無人機視場下的感興趣目標；2)提取上述感興趣目標的二維圖像矩形框大小與中心位置信息；3)利用所述二維圖像矩形框大小與中心位置信息，融合均值漂移算法和卡爾曼濾波算法的輸出數據，使用數據加權的形式輸出最終目標定位結果。步驟3)之后，根據所述目標定位結果，調整無人機飛行模式，使運動目標位于地面站顯示屏中心區域。步驟2)的具體實現過程包括：1)分別提取無人機拍攝圖像序列的相鄰兩幀的Shi-Tomasi角點集合；2)對兩幀圖像的Shi-Tomasi角點集合分別構造合成基描述子；3)對帶有合成基描述子的Shi-Tomasi角點集合進行特征匹配，獲取相鄰兩幀的圖像角點匹配對；4)對步驟3)獲得的角點匹配對，利用RANSAC方法估計出背景運動變換矩陣，并進行圖像背景運動補償；5)對運動補償后的相鄰幀圖像作幀差操作，得到幀差圖像，并將幀差圖像二值化；6)對幀差圖像作形態學濾波操作，進行目標信息分離和提取，獲得目標矩形框的大小與中心位置信息。相鄰兩幀圖像所有角點合成基描述子的具體生成過程包括：1)對相鄰兩幀圖像中每一個特征點鄰域圖像FRI進行二值化處理，并計算特征點鄰域圖像FRI的平均灰度值，當特征點鄰域圖像FRI內的像素點值大于平均灰度值，則該像素點值被置1；否則，置0；2)把相鄰兩幀圖像中所有30×30大小的特征點鄰域圖像FRI均分成6×6個大小為5×5的子區域，合成基圖像為5×5個黑白元素組成的正方形；所述合成基圖像黑色像素點個數為FRI子區域像素的一半，合成基圖像的個數其中，N為FRI子區域的像素個數；K為合成基圖像中黑色像素的個數；3)對于步驟2)中的任一個特征點鄰域圖像FRI，將該特征點鄰域圖像FRI的所有子區域以從左至右、從上到下的順序與合成基圖像集合進行比較，每一個子區域都生成一個9維向量，組合36個子區域的各自9維向量，最后形成一個324維的合成基描述子。所述特征點鄰域圖像FRI的一個子區域9維向量生成方法為：一個子區域與合成基圖像集合中一個合成基圖像的比較值為兩者在同一像素點處黑色像素相同的個數，合成基圖像集合被比較的順序為從左至右、從上到下，然后一個子區域依照上述的比較規則和比較順序，與合成基圖像集合中所有的合成基圖像一一進行比較，得到9個整數值，組成9維向量。目標信息分離和提取的具體步驟包括：a)遍歷每一幀濾波后的幀差圖像，遍歷的順序為自上而下，從左至右；b)如果一個像素滿足：二值化后的像素值為1且沒有編號，則對該像素賦予新的編號；c)遍歷賦予了新的編號的像素的八鄰域，依據步驟b)中的條件，給予滿足條件的8鄰域內的像素新的編號，且該新的編號與賦予了新的編號的像素編號相同；對于不滿足條件的八領域內的像素，返回步驟b)；d)當把幀差圖像中所有像素值為1的像素點遍歷完且都編完號之后，操作結束。所述矩形框的確定方法包括：每一幀濾波后的幀差圖像經過掃描后，像素點為1的都有編號，編號相同的則為同一物體，連接在一起就組成了運動物體，假設有m個運動物體，對于第一個運動物體，矩形框獲取方法如下：依次從第一個被標記的像素點開始遍歷，直至遍歷完最后一個被標記像素點，將標記像素點中x坐標與y坐標的最小值與最大值保存下來，記為xmin，ymin，xmax，ymax，以(xmin,ymin),(xmax,ymax)兩點作為矩形框的對角點，畫出矩形框。本專利技術還提供了一種地面運動目標實時跟蹤的系統，包括：無人機，用于按照預定的飛行軌跡進行巡邏，將拍攝的圖像序列傳輸到地面控制站；無線傳輸設備：為無人機與地面控制站之間的數據傳輸提供一種通信方式；地面控制站，用于檢測出無人機視場下的感興趣目標，提取感興趣目標的二維圖像矩形框大小與中心位置信息，并利用所述二維圖像矩形框大小與中心位置信息，融合均值漂移算法和卡爾曼濾波算法的輸出數據，使用數據加權的形式輸出最終得目標定位結果。相應的，該系統還包括：跟蹤指令生成模塊，用于根據所述目標定位結果，調整無人機飛行模式，使運動目標位于地面站顯示屏中心區域。所述地面控制站包括：檢測與識別模塊，用于檢測出無人機視場下的感興趣目標，并提取感興趣目標的二維圖像矩形框大小與中心位置信息；目標跟蹤模塊，利用所述二維圖像矩形框大小與中心位置信息，融合均值漂移算法和卡爾曼濾波算法的輸出數據，使用數據加權的形式輸出最終得目標定位結果。目標搜索模塊，丟失跟蹤目標時，該模塊使用一種序列搜索方法重新定位目標。跟蹤指令生成模塊，根據跟蹤目標在地面站顯示屏中的成像區域，生成相應的跟蹤指令，以使目標位于顯示屏中心位置。與現有技術相比，本專利技術所具有的有益效果為：本專利技術目標的檢測與跟蹤過程不需人工的全程參與，使用的合成基描述子進行特征點匹配，對尺度旋轉、光照、模糊變化具有魯棒性，匹配效率高，并且合成基描述子的生成不涉及浮點運算，其對處理圖像的硬件平臺具有友好性，易于實現，能有效地進行目標識別，避免背景噪聲的影響。附圖說明圖1為無人機系統結構組成圖；本文檔來自技高網...

【技術保護點】
一種基于無人機的地面運動目標實時跟蹤方法，其特征在于，包括以下步驟：1)無人機按照預定的飛行軌跡進行巡邏，將對地面視場拍攝的圖像序列傳輸到地面控制站，檢測出無人機視場下的感興趣目標；2)提取上述感興趣目標的二維圖像矩形框大小與中心位置信息；3)利用所述二維圖像矩形框大小與中心位置信息，融合均值漂移算法和卡爾曼濾波算法的輸出數據，使用數據加權的形式輸出最終目標定位結果。

【技術特征摘要】
1.一種基于無人機的地面運動目標實時跟蹤方法，其特征在于，包括以下步驟：1)無人機按照預定的飛行軌跡進行巡邏，將對地面視場拍攝的圖像序列傳輸到地面控制站，檢測出無人機視場下的感興趣目標；2)提取上述感興趣目標的二維圖像矩形框大小與中心位置信息；3)利用所述二維圖像矩形框大小與中心位置信息，融合均值漂移算法和卡爾曼濾波算法的輸出數據，使用數據加權的形式輸出最終目標定位結果。2.根據權利要求1所述的基于無人機的地面運動目標實時跟蹤方法，其特征在于，步驟3)之后，根據所述目標定位結果，調整無人機飛行模式，使運動目標位于地面站顯示屏中心區域。3.根據權利要求1所述的基于無人機的地面運動目標實時跟蹤方法，其特征在于，步驟2)的具體實現過程包括：1)分別提取無人機拍攝的圖像序列的相鄰兩幀的Shi-Tomasi角點集合；2)對兩幀圖像的Shi-Tomasi角點集合分別構造合成基描述子；3)對帶有合成基描述子的Shi-Tomasi角點集合進行特征匹配，獲取相鄰兩幀的圖像角點匹配對；4)對步驟3)獲得的角點匹配對，利用RANSAC方法估計出背景運動變換矩陣，并進行圖像背景運動補償；5)對運動補償后的相鄰幀圖像作幀差操作，得到幀差圖像，并將幀差圖像二值化；6)對幀差圖像作形態學濾波操作，進行目標信息分離和提取，獲得目標矩形框的大小與中心位置信息。4.根據權利要求3所述的基于無人機的地面運動目標實時跟蹤方法，其特征在于，相鄰兩幀圖像所有角點合成基描述子的具體生成過程包括：1)對相鄰兩幀圖像中每一個特征點鄰域圖像FRI進行二值化處理，并計算特征點鄰域圖像FRI的平均灰度值，當特征點鄰域圖像FRI內的像素點值大于平均灰度值，則該像素點值被置1；否則，置0；2)把相鄰兩幀圖像中所有30×30大小的特征點鄰域圖像FRI均分成6×6個大小為5×5的子區域，合成基圖像為5×5個黑白元素組成的正方形；所述合成基圖像黑色像素點個數為FRI子區域像素的一半，合成基圖像的個數其中，N為FRI子區域的像素個數；K為合成基圖像中黑色像素的個數；3)對于步驟2)中的任一個特征點鄰域圖像FRI，將該特征點鄰域圖像FRI的所有子區域以從左至右、從上到下的順序與合成基圖像集合進行比較，每一個子區域都生成一個9維向量，組合36個子區域的各自9維向量，最后形成一個324維的合成基描述子。5.根據權利要求4所述的基于無人機的地面運動目標實時跟蹤方法，其特征在于，所述特征點鄰域圖像FRI的一個子區域9維向量生成方法為：一個子區域與合成基圖像集合中一個合成基圖像的比較值為兩者在同一像素點處黑色像素相同的個數，合成基圖像集合被比較的順序...

【專利技術屬性】
技術研發人員：譚冠政，李波，劉西亞，陳佳慶，
申請(專利權)人：中南大學，
類型：發明
國別省市：湖南,43