基于時空結構上下文關系在線學習的目標跟蹤方法技術

本發明專利技術公開了一種基于時空結構上下文關系在線學習的目標跟蹤方法，用于對視頻中出現的目標圖像進行跟蹤，該方法包括如下步驟：建立目標跟蹤的時間結構上下文模型和空間結構上下文模型；在該視頻幀中對目標可能出現的區域進行采樣，得到采樣圖像；將所述采樣圖像輸入所述時間結構上下文模型和空間結構上下文模型中，得到該采樣圖像中的各采樣點為目標所在區域的時間概率結果和空間概率結果；將所述空間概率結果和時間概率進行融合，得到各采樣點屬于目標區域的后驗概率，將所述后驗概率的最大值所對應的采樣點作為目標跟蹤的最終結果。本發明專利技術能夠在事先不了解目標任何信息，不了解目標所在場景的任何信息條件下，通過對目標表象特征的自動在線學習，準確的將目標的位置定位出來。

【技術實現步驟摘要】

·本專利技術涉及模式識別以及計算機視覺
，具體涉及目標跟蹤技術，特別是一種。
技術介紹
目標跟蹤具有很多的實際應用，例如人機交互、視頻監控、虛擬現實等等。對于絕大多數的情況，跟蹤器需要對目標進行長時間跟蹤，而且很難獲得目標出現的場景，目標表象信息的先驗知識，因此就需要跟蹤器根據目標在跟蹤過程中的變化進行在線的自動學習，以對目標的變化具有更好的魯棒性。·在實際的應用過程中，運動目標最基本也是最有效的彳目息就是時間與空間的表象信息，而對于已經提出的在線學習方法往往并沒有對這兩個基本的信息進行充分的考慮。現有的方法均是主要關注目標本身的表象變化，主要分為兩大類，一類是基于產生式模型(Generative Model)的在線學習方法,此方法關注直接對目標本身表象特征進行建模,使得其對目標本身表達更完善；另外一類是基于鑒別式模型(Discriminative Model)的在線學習的方法，此方法重點關注的是目標與背景之間的區別，通過對目標與背景間區別的學習，達到對目標的準確定位跟蹤。此兩類方法在一些有限制條件的場景下表現較好，但是對于一般實際應用的非限制條件場景下，其效果不甚理想，因此將時間表象信息與空間表象信息同時考慮勢在必行。
技術實現思路
(一 )要解決的技術問題本專利技術所要解決的技術問題是現有的目標跟蹤方法無法有效利用時間和空間表象信息，以致目標跟蹤效果在非限制條件場景下效果不佳的問題。( 二 )技術方案本專利技術提出一種目標跟蹤方法，用于對視頻中出現的目標圖像進行跟蹤，包括如下步驟建立目標跟蹤的時間結構上下文模型和空間結構上下文模型；在該視頻幀中對目標可能出現的區域進行采樣，得到采樣圖像；將所述采樣圖像輸入所述時間結構上下文模型和空間結構上下文模型中，得到該采樣圖像中的各采樣點為目標區域的時間概率結果和空間概率結果；將所述空間概率結果和時間概率進行融合，得到各采樣點屬于目標區域的后驗概率，將所述后驗概率的最大值所對應的采樣點作為目標跟蹤的最終結果。(三)有益效果本專利技術通過同時考慮目標的時間與空間結構上下文信息，能夠在事先不了解目標任何信息，不了解目標所在場景的任何信息的條件下，通過跟蹤器自身對目標表象特征的自動學習，準確的將目標的位置定位出來。附圖說明圖1是本專利技術的目標跟蹤方法的一個實施例的流程圖；圖2是本專利技術的目標跟蹤方法的另一個實施例的流程圖。具體實施例方式為使本專利技術的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本專利技術作進一步的詳細說明。本專利技術提出了一種基于時間和空間結構上下文信息的目標表象特征在線學習方法，該方法的原理模型由兩部分組成一部分為時間結構上下文，主要對目標表象特征在時間上的一致性進行建模，對目標的各種變化進行自適應的學習，使得跟蹤器在非限制的環境中能對目標進行長時間穩定跟蹤；另一部分為空間結構上下文，主要對目標表象特征與其周圍背景表象特征的關系進行建模，通過對目標特征與背景特征差異的編碼進行學習，從而對在復雜場景中且有相似目標的情況下，對此差異的學習使得跟蹤器具有更好的鑒別力，使得跟蹤器不會跟蹤到相似目標上，而造成跟蹤偏移問題。一方面，對于時間上下文模型，本專利技術提出一種新的增量子空間學習方法，相比于現有的子空間學習方法，本專利技術的方法考慮使用將更新樣本結合在一起，進行去噪后，再進行更新，并且在更新過程中，將樣本的噪聲考慮在內，使得對目標表象變化進行更加精確的學習。另一方面，對于空間上下文模型，現有的方法均是考慮在周圍環境中與目標相似或運動相一致的物體，對此物體與目標間的關系進行建模，這種模型往往都非常復雜。而且在復雜環境中，滿足這樣條件并且穩定存在的物體并不常見，因此極大程度限制了這些算法的應用。由此，本專利技術提出可以不必尋找這樣的物體，而考慮目標整個周圍的環境。雖然周圍環境時刻在變化且其與目標表象的關系也在變化，因此這些關系往往是較弱的。但是考慮到多個弱的關系通過適當組合就能夠形成一個很強的關系，本專利技術中稱之為“支持場”，而這也就體現了一句中國古老的俗語“三個臭皮匠，頂個諸葛亮”。本專利技術的“支持場”的建立由模式識別領域著名的Adaboost算法來完成。考慮到多示例技術在模式識別領域的成功應用，因此在本專利技術中，我們考慮使用Adaboost的變形形式，基于多示例Boosting的在線算法進行各種弱特征的選擇與組合。在對弱關系建模時，我們充分考慮目標本身的結構信息，將目標本身分成若干塊兒，這樣就形成了若干的弱關系，進而使用多示例的boosting算法來挑選最具鑒別力的弱關系形成“支持場”。最后通過將時間上下文模型所得到的目標可能所在狀態與空間上下文模型所得到的目標可能所在狀態進行融合，找出目標可能所在狀態概率最大處，進而得到目標的最優狀態，并認為此狀態即為目標在當前幀的跟蹤結果。通過對目標所在最優狀態對應的表象信息進行判斷，若其所得到的置信度(目標所在狀態表象為目標本身的概率)大于一定閾值，那么就使用此最優狀態對時間結構上下文模型與空間結構上下文模型進行更新，之后進入下一幀的跟蹤處理；否則直接進入下一幀的跟蹤處理。圖1是本專利技術的目標跟蹤方法的一個實施例的流程圖。如圖1所示，本專利技術的方法包括如下步驟步驟S1、首先，輸入視頻幀。步驟S2、判斷是否已為目標建立模型，所述模型包括時間結構上下文模型和空間結構上下文模型，所述目標是指需要跟蹤的目標。如果判斷為沒有建立，則建立目標跟蹤的時間結構上下文模型和空間結構上下文模型；步驟S3、在該視頻幀中對目標可能出現的區域進行采樣，得到采樣圖像。根據本專利技術的具體實施方式，可在所述目標 在該視頻幀的上一幀中的位置的周圍圓形區域內進行采樣。步驟S4、將所述采樣圖像輸入所述時間結構上下文模型中，得到該采樣圖像中的各采樣點為目標所在區域的時間概率結果，另一方面，將所述采樣圖像輸入到所述空間結構上下文模型中，得到該采樣圖像中各采樣點為目標區域的空間概率結果。步驟S5、將前述空間概率結果和時間概率結果進行融合，得到各采樣點屬于目標區域的后驗概率。步驟S6、將所述后驗概率最大值所對應的采樣點作為目標跟蹤的最終結果，即所謂的最大后驗概率解(Maximum A Posteriori probability, MAP)。按照上述所言，本專利技術的目標跟蹤方法的過程可以由如下的式子來表達P (ZjOllt) -P(OjZt) / P (Zt I Zt^1) P (Zt^11 OlltJdZw(I)其中Zt為目標在時刻t的狀態信息,包括目標的位置、速度、尺度信息。Ot為目標在時刻t的觀測值，01:t為目標從時刻I到時刻t之間的觀測值。本專利技術中，我們使用貪婪的算法來進行搜索，即是在目標上一幀為中心，一定半徑的范圍內進行搜索采樣，最后的兩個模型得到的概率融合結果的MAP值解。根據本專利技術的具體實施方式，MAP值可以由如下的式子表不Zi = argmax[ρ{θ\Z,)} = argmax卜⑷-",(少⑷)J (2)其中U(Zt)表示時間上下文模型所對應概率的能量函數，U (zt |f (Zt))表示空間上下文模型所對應的概率的能量函數，f(Zt)表示目標周圍區域對其的一個強的“支持場”，此“支持場”即是指通過對這個場的建模，可為確定目標所在位置提供有效的信息。α本文檔來自技高網...

【技術保護點】
一種目標跟蹤方法，用于對視頻中出現的目標圖像進行跟蹤，其特征在于，包括如下步驟：建立目標跟蹤的時間結構上下文模型和空間結構上下文模型；在該視頻幀中對目標可能出現的區域進行采樣，得到采樣圖像；將所述采樣圖像輸入所述時間結構上下文模型和空間結構上下文模型中，得到該采樣圖像中的各采樣點為目標所在區域的時間概率結果和空間概率結果；將所述空間概率結果和時間概率進行融合，得到各采樣點屬于目標區域的后驗概率，將所述后驗概率的最大值所對應的采樣點作為目標跟蹤的最終結果。

【技術特征摘要】

【專利技術屬性】
技術研發人員：李子青，文瓏銀，雷震，易東，
申請(專利權)人：中國科學院自動化研究所，北京中科奧森科技有限公司，
類型：發明
國別省市：