一種復雜背景及遮擋條件下的運動目標跟蹤方法技術

本發明專利技術公開了一種多特征結合Kalman濾波的目標跟蹤方法，用于解決復雜背景環境以及遮擋情況下的目標跟蹤。提出基于顏色、紋理及目標運動信息的綜合特征用于改進CamShift算法，并結合Kalman濾波器對目標運動狀態進行預測，提高了復雜背景下運動目標的跟蹤穩定性和跟蹤精度。顏色信息易受到光照及背景干擾色等因素干擾，引入目標紋理特征改善采用單一顏色信息時的缺陷，并繼續加入目標運動信息，進一步排除背景中的干擾。在目標發生遮擋時，通過目標遮擋前的先驗信息進行最小二乘擬合及目標運動軌跡外推，預測目標運動位置信息，有利于遮擋結束時對運動目標的重新捕獲。

【技術實現步驟摘要】

本專利技術涉及一種自適應目標跟蹤方法，具體涉及。
技術介紹
運動目標的跟蹤是在視頻圖像的每一幅圖像中確定出感興趣的運動目標的位置，并把不同幀中同一目標對應起來。利用光學傳感器在復雜背景下探測目標，對于民用和軍事領域均具有重要意義，它所涉及的傳感器設計、信息處理和系統仿真方法一直是科研工作者和工程技術人員研究的熱點。在地面載臺(如移動式、固定式)對周圍環境探測的過程中，以及空中載臺(如飛機、飛艇、衛星等)對地探測的過程中，常通過光學探測系統獲得目標與背景的圖像以進行目標檢測跟蹤與識別或地形環境信息獲取與感知。可見光攝像技術隨著電荷耦合器件(CXD)、CMOS成像器件和數字圖像處理技術的發展，已經普及應用于各個領域，帶有智能化圖像處理功能的高清晰度可見光攝像視頻報警系統能夠自動識別不同的物體，發現監控畫面中的異常情況，并能夠發出警報和提供有用信息，可應用在反恐、突發事件處置、航空監視、交通管理、客戶行為分析等多種場合。20世紀中后期，可見光攝像機由黑白攝像機發展到彩色攝像機。近20年來，在安防領域使用的視頻監控系統中已大量使用彩色攝像機，借助CCD的優點和目前達到的優良性能，彩色CCD攝像機成為視頻監控系統中的主流。除軍事應用外，基于可見光攝像的視頻監控技術正在向高清網絡化、圖像數字化、監控智能化的方向發展，新一代帶智能化圖像信息處理功能的CCD監視報警系統具有多方面顯著優勢，包括:全天候24小時可靠自動監控；提高報警精確度，降低誤報和漏報現象，減少無用數據量；快速運行圖像處理算法，提高識別響應速度；有效利用和擴展視頻資源的用途。傳統的Mean Shift和CamShift算法在簡單背景下能夠取得很好的效果并且具有很好的實時性，從而在對運動目標的視頻跟蹤領域得到了廣泛的應用。Mean Shift跟蹤算法是一種以目標區域像素值的概率分布為特征的跟蹤算法，因為尋優收斂速度快，該算法具有很好的實時性，并且具有一定的魯棒性。在Mean Shift算法中，核窗口起著非常重要的作用。通常核窗口由初始跟蹤窗口決定，并且大小固定不變。但是在對運動目標的跟蹤過程中，如果目標尺度發生變化，尤其是目標尺度變大超過核窗口時，很容易導致對于目標的跟蹤失效。根據Mean Shift算法的這一缺陷，G.Bradski在Mean Shift算法的基礎上提出了 CamShift算法,這是 一種Mean Shift算法的改進算法。它與Mean Shift算法的最大不同是在跟蹤過程中可以自適應調整核窗口大小，以達到適應目標尺度的變化。但是無論是Mean Shift算法還是CamShift算法,它們的本質都是使用目標的顏色概率分布 目息，即直方圖作為跟蹤時的特征，而直方圖是一種較弱的特征，這就導致在復雜背景或背景中存在大面積干擾色時很容易導致跟蹤失效。且Mean Shift和CamShift算法對目標運動軌跡不作任何預測，在目標快速機動或發生遮擋丟失時，經常無法繼續進行有效的跟蹤。綜合而言，目前的視頻跟蹤技術對于運動目標跟蹤仍存在一些困難，主要來源于以下方面光照強度和天氣變化對目標跟蹤的影響；目標外觀變化或發生旋轉、放縮、位移等各種復雜的變化；目標快速運動時跟蹤的穩定性問題；運動目標的遮擋問題；復雜的背景干擾等因素的影響；運動目標的正確檢測和分割問題；圖像的數據融合問題，比如多攝像頭跟蹤；跟蹤的實時性問題等。雖然最近十幾年視頻目標跟蹤問題獲得了廣泛的研究并取得了長足的進步，但是由于現實環境中的許多情況都會影響視頻圖像中對目標的可靠觀測，因此設計出能夠在各種復雜環境下準確、快速、穩定地跟蹤視頻目標的方法，仍然是一項挑戰性的任務和急需解決的課題，尤其是可以應用于復雜背景下以及遮擋情況下的運動目標跟蹤方法。因此，本領域的技術人員致力于開發。
技術實現思路
為了實現復雜背景及遮擋條件下的運動目標跟蹤，本專利技術提出一種結合了 Kalman濾波器的復雜背景及遮擋條件下運動目標跟蹤方法。本專利技術采用顏色紋理二維直方圖作為目標的特征，可以較好的抑制光照的影響；在目標反向投影圖的基礎上結合背景中的運動模板信息，實現一種改進的反向投影圖，可以有效地去除背景中的干擾；采用Kalman濾波器對目標的運動進行預測，增加跟蹤方法的魯棒性，并提高了目標快速運動時的跟蹤準確性；在目標發生遮擋丟失時，用最小二乘擬合目標運動軌跡并按目標先驗速度進行外推的方法對目標運動狀態進行預測，在目標重新出現后探測到目標并繼續進行跟蹤，有效解決目標遮擋問題。為實現上述目的，本專利技術利用顏色、紋理、運動信息以及結合Kalman濾波構建Camshift,從而實現復雜背景及遮擋條件下的運動目標跟蹤方法。基于Visual Studio2008及0penCV2. O實現了方法的仿真體系。本專利技術上述方法包括以下步驟(I)確定所述目標及所述視頻圖像的初始幀；(2)獲得所述目標的顏色及紋理信息二維直方圖的反向投影，所述反向投影為計算所述目標所在區域的直方圖分布情況在整幅圖像中的匹配程度，與目標特征越相似的區域權重越大，然后將每個點的灰度值縮放至0-255的范圍得到一幅新的灰度圖像，即為反向投影圖；所述顏色是所述目標的圖像色度信息，利用所述顏色的直方圖，在所述視頻圖像中得到反向投影圖來表示所述目標的所述顏色；所述顏色信息易受到光照條件影響，本方法在光照條件變化時結合紋理信息；所述紋理是所述目標的圖像通過計算灰度共生矩陣得到的灰度圖像，所述紋理采用所述灰度共生矩陣中的紋理特征提取，利用所述灰度圖像中所述目標的所述紋理的直方圖，在所述視頻圖像中得到反向投影圖，來表示所述幀圖像的所述紋理；(3)所述目標的顏色紋理二維直方圖結合所述目標的運動模板信息，得到擴展的反向投影圖，所述運動模板信息是所述視頻圖像與背景模型圖像作差值得到的前景圖像；(4)對所述目標進行遮擋判定，若判定為所述目標未被遮擋，采用Kalman濾波器對所述目標在下一幀的位置進行預測，所述預測的結果作為下一幀CamShift算法迭代的起點，采用CamShift算法迭代下一幀；若判定為所述目標被遮擋，所述Kalman濾波器停止工作，采用基于最小二乘估計的方法進行軌跡預測，同時對每一預測位置采用CamShift算法搜索；(5)判斷跟蹤是否結束，若判定為跟蹤未結束，獲取視頻跟蹤的當前幀，并轉至步驟(2);若判定為跟蹤結束，則方法停止。其中，所述顏色采用HSV色彩模型將色度、飽和度、亮度區分開來，其中H分量表示色度，S分量表示飽和，V分量表示亮度。更進一步地，所述顏色采用H分量的直方圖及其反向投影圖從而對所述目標的所述顏色特征描述。其中，所述紋理采用Gabor濾波器濾波以提取。更進一步地，所述紋理的提取采用的所述灰度共生矩陣中的紋理特征是由每個像素8鄰域的灰度差值產生的，對所述灰度圖像所述每個像素分別取45°、135°、90°、0°方向上的鄰域灰度值差，即:Gl (x, y) =G (x+1, y+1) -G (χ-l, y-1)(I)G2 (χ, y) =G (χ-l, y+1) -G (x+1, y-1)(2)G3 (x, y) =G (x, y+1) -G (x, y-1)(3)G4 (x, y) =G (x+1, y) -G (χ-l, y)(4)其中(本文檔來自技高網...

【技術保護點】
一種復雜背景及遮擋條件下的運動的目標的跟蹤方法，用于跟蹤視頻圖像中的運動的目標，其特征在于，包括步驟：（1）確定所述目標及所述視頻圖像的初始幀；（2）獲得所述目標的顏色及紋理信息二維直方圖的反向投影，所述顏色是所述目標的圖像色度信息，利用所述顏色的直方圖，在所述視頻圖像中得到反向投影圖來表示所述目標的所述顏色；所述紋理是所述目標的圖像通過計算灰度共生矩陣得到的灰度圖像，所述紋理采用所述灰度共生矩陣中的紋理特征提取，利用所述灰度圖像中所述目標的所述紋理的直方圖，在所述視頻圖像中得到反向投影圖，來表示所述幀圖像的所述紋理；（3）所述目標的顏色紋理二維直方圖結合所述目標的運動模板信息，得到擴展的反向投影圖，所述運動模板信息是所述視頻圖像與背景模型圖像作差值得到的前景圖像；（4）對所述目標進行遮擋判定，若判定為所述目標未被遮擋，采用Kalman濾波器對所述目標在下一幀的位置進行預測，所述預測的結果作為下一幀CamShift算法迭代的起點，采用CamShift算法迭代下一幀；若判定為所述目標被遮擋，所述Kalman濾波器停止工作，采用基于最小二乘估計的方法進行軌跡預測，同時對每一預測位置采用CamShift算法搜索；（5）判斷跟蹤是否結束，若判定為跟蹤未結束，獲取視頻跟蹤的當前幀，并轉至步驟（2）；若判定為跟蹤結束，則方法停止。...

【技術特征摘要】
1.一種復雜背景及遮擋條件下的運動的目標的跟蹤方法，用于跟蹤視頻圖像中的運動的目標，其特征在于，包括步驟: (1)確定所述目標及所述視頻圖像的初始幀； (2)獲得所述目標的顏色及紋理信息二維直方圖的反向投影，所述顏色是所述目標的圖像色度信息，利用所述顏色的直方圖，在所述視頻圖像中得到反向投影圖來表示所述目標的所述顏色；所述紋理是所述目標的圖像通過計算灰度共生矩陣得到的灰度圖像，所述紋理采用所述灰度共生矩陣中的紋理特征提取，利用所述灰度圖像中所述目標的所述紋理的直方圖，在所述視頻圖像中得到反向投影圖，來表示所述幀圖像的所述紋理； (3)所述目標的顏色紋理二維直方圖結合所述目標的運動模板信息，得到擴展的反向投影圖，所述運動模板信息是所述視頻圖像與背景模型圖像作差值得到的前景圖像； (4)對所述目標進行遮擋判定，若判定為所述目標未被遮擋，采用Kalman濾波器對所述目標在下一幀的位置進行預測，所述預測的結果作為下一幀CamShift算法迭代的起點，采用CamShift算法迭代下一巾貞；若判定為所述目標被遮擋，所述Kalman濾波器停止工作，采用基于最小二乘估計的方法進行軌跡預測，同時對每一預測位置采用CamShift算法搜索； (5)判斷跟蹤是否結束，若判定為跟蹤未結束，獲取視頻跟蹤的當前幀，并轉至步驟(2);若判定為跟蹤結束，則方法停止。2.如權利要求1所述的一種復雜背景及遮擋條件下的運動目標跟蹤方法，其特征在于，步驟(2)中所述顏色采用HSV色彩模型將所述顏色的色度、飽和度、亮度區分開來，其中H分量表示色度，S分量表示飽和...

【專利技術屬性】
技術研發人員：肖剛，許曉航，
申請(專利權)人：上海交通大學，
類型：發明
國別省市：