對象跟蹤方法和設備技術

提供了一種對象跟蹤方法和設備。所述對象跟蹤方法包括：基于對象在前一幀視差圖中的尺寸，確定對象在當前幀視差圖中的尺寸；以對應于所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動；將前一幀視差圖中采用的匹配特征作為在當前幀視差圖中采用的匹配特征，對于當前幀視差圖中所述矩形框滑動到的每個位置區域，計算匹配特征在該位置區域的向量表示；計算匹配特征在每個位置區域的向量表示與匹配特征在前一幀視差圖中對象所在區域的向量表示之間的匹配度；確定各個所述位置區域中具有最大匹配度的位置區域，作為所述對象在當前幀視差圖中的位置。該對象跟蹤方法在被跟蹤對象發生旋轉時，也不會產生跟蹤丟失問題，具有較好的跟蹤效果。

【技術實現步驟摘要】
對象跟蹤方法和設備
本專利技術總體涉及圖像識別，具體涉及對象跟蹤方法和設備
技術介紹
對象跟蹤技術在監控、人機交互、車載導航、視訊索引等眾多領域中有著廣泛的應用。逐幀匹配跟蹤對象是一個經典的研究課題。目前已經提出了很多基于灰度/彩色圖像來逐幀匹配跟蹤對象的方法，比如基于幾何形狀、目標輪廓、彩色直方圖、梯度直方圖等進行跟蹤。例如，專利文獻US8102390B2公開了基于灰度圖的逐幀匹配跟蹤方法。在該方法中，把灰度圖中的圖像塊分成若干個區域，并使用各個區域的快速傅里葉變換（FFT）的值作為匹配特征來進行對象的匹配，最終實現對象的跟蹤。然而，使用灰度/彩色圖像進行對象跟蹤有一個很難解決的技術問題，就是光照的變化會很大程度的影響跟蹤效果。由于視差圖基本不受光照變化的影響，因此人們已經開始研究基于視差值的對象匹配跟蹤。但是，目前基于視差值的匹配跟蹤算法普遍存在下述問題：即當對象進行旋轉從而導致該對象的形狀或輪廓發生變化時，例如如圖1所示當作為被跟蹤對象的車輛發生轉彎時，可能會導致跟蹤失敗。
技術實現思路
根據本專利技術的一個實施例，提供了一種對象跟蹤方法，包括：基于對象在前一幀視差圖中的尺寸，確定該對象在當前幀視差圖中的尺寸；以對應于所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動；將前一幀視差圖中采用的預定類型的匹配特征作為在當前幀視差圖中采用的匹配特征，對于當前幀視差圖中所述矩形框滑動到的每個位置區域，計算所述匹配特征在該位置區域的向量表示；計算所述匹配特征在每個所述位置區域的向量表示與所述匹配特征在前一幀視差圖中對象的位置矩形框中的區域的向量表示之間的匹配度；確定各個所述位置區域中具有最大匹配度的位置區域，作為所述對象在當前幀視差圖中的位置。根據本專利技術的另一實施例，提供了一種對象跟蹤設備，包括：尺寸確定單元，基于對象在前一幀視差圖中的尺寸，確定該對象在當前幀視差圖中的尺寸；滑動驅動單元，使對應于所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動；向量計算單元，將前一幀視差圖中采用的預定類型的匹配特征作為在當前幀視差圖中采用的匹配特征，對于當前幀視差圖中所述矩形框滑動到的每個位置區域，計算所述匹配特征在該位置區域的向量表示；匹配度計算單元，計算所述匹配特征在每個所述位置區域的向量表示與所述匹配特征在前一幀視差圖中對象的位置矩形框中的區域的向量表示之間的匹配度；位置確定單元，確定各個所述位置區域中具有最大匹配度的位置區域，作為所述對象在當前幀視差圖中的位置。根據本專利技術實施例的對象跟蹤技術在被跟蹤對象發生旋轉時，也不會產生跟蹤丟失問題，具有較好的跟蹤效果。附圖說明圖1示出了被跟蹤對象發生轉彎時的示例情形。圖2示意性地示出了應用根據本專利技術實施例的對象跟蹤技術的一種示例場景。圖3示出了根據本專利技術第一實施例的利用視差圖的對象跟蹤方法的流程圖。圖4例示了根據本專利技術實施例的當前幀視差圖中的預測區域、在該預測區域中滑動的矩形框以及對象在前一幀視差圖中的位置矩形框。圖5例示了根據本專利技術實施例的對象在前一幀視差圖中的尺寸以及在當前幀視差圖中滑動的矩形框的尺寸之間的關系。圖6示出了根據本專利技術實施例的在第一幀視差圖中構建匹配特征的處理過程的流程圖。圖7示意性地示出了構建的匹配特征的示例。圖8示出了在根據本專利技術實施例的對象跟蹤方法中計算匹配特征在視差圖中的一個位置區域中的向量表示的處理的流程圖。圖9示出了根據本專利技術實施例所建立的匹配特征的相關性矩陣的示意圖。圖10示出了根據本專利技術第二實施例的對象跟蹤方法中對匹配特征進行優化的處理的流程圖。圖11示出了根據本專利技術實施例的對象跟蹤設備的功能配置框圖。圖12示出了根據本專利技術實施例的對象跟蹤系統的總體硬件框圖。具體實施方式為了使本領域技術人員更好地理解本專利技術，下面結合附圖和具體實施方式對本專利技術作進一步詳細說明。圖2示意性地示出了應用根據本專利技術實施例的對象跟蹤技術的一種示例場景。如圖2所示，用戶位于配備有立體像機202的車201內，該立體像機對道路上行駛的車輛進行跟蹤拍攝，以獲得連續多幀的左視圖和右視圖。諸如計算芯片的處理設備203根據由立體相機拍攝得到的連續多幀的左視圖和右視圖，計算得到對應的連續多幀的視差圖，并利用該視差圖來檢測和跟蹤所拍攝的車輛。當然，圖2所示的僅僅是一種示例性的應用場景，根據本專利技術實施例的對象跟蹤技術也可以應用于其他場景，例如人員監控中的可疑人員的跟蹤、人機交互中的人手跟蹤等等。為了便于說明和理解，可以認為下文中所述的被跟蹤對象是道路上的車輛。<第一實施例>圖3示出了根據本專利技術第一實施例的利用視差圖的對象跟蹤方法的流程圖。如圖3所示，在步驟S301，基于對象在前一幀視差圖中的尺寸，確定該對象在當前幀視差圖中的尺寸。如本領域技術人員公知的，視差圖是以一對圖像中任一圖像為基準圖像，尺寸為該基準圖像的尺寸，并且每個點（像素點）的灰度值為基準圖像中對應點的視差的圖像。可以以本領域公知的很多方式獲得視差圖，此處不進行詳細描述。如何根據對象在前一幀視差圖中的尺寸來估測對象在當前幀中的尺寸，在本領域中存在多種實現方法，此處不進行詳細描述。其基本思想是：根據對象在前一幀視差圖中的尺寸和相機參數可以計算出對象的實際尺寸，因為對象的實際尺寸是不變的，所以根據對象的實際尺寸、當前幀視差圖中對象的視差值以及相機的參數就可以估測出目標在當前幀中的尺寸，其中當前幀中對象的視差值可以采用預測的對象在當前幀中的位置區域內視差值的平均數或眾數等。另外，為了便于比較和說明，在本實施例中，用視差圖中對象的位置矩形框（最小外接矩形框）的尺寸作為該對象在視差圖中的尺寸。在步驟S302，以對應于所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動。在本實施例中，預定區域是基于對象的運動信息估測的當前幀視差圖中包含對象的預測區域。例如，假設對象在世界坐標系中的X和Z軸方向上的最大最小速度分別是其中在所述世界坐標系中，X-Z平面與地面重合，Y軸為相對于地面的高度。能夠理解，在拍攝當前幀圖像時，對象在世界坐標系中的位置范圍可以用四個相對速度的組合和來表示。通過公知的從世界坐標系到立體相機的坐標系的坐標轉換，可以獲得圖4中例示的當前幀視差圖中包含對象的預測區域。如圖4所示，該預測區域的四個頂點和分別與前述四個相對速度的組合對應。上述基于對象的運動信息確定的預測區域僅僅是預定區域的一個示例，預定區域也可以是其他感興趣的區域。例如，可以是對象在前一幀中的位置區域在當前幀中的對應位置區域，或者是比該對應位置區域大預定尺寸的區域，甚至是當前幀的整個區域。在該步驟中采用的矩形框是用于表示被跟蹤對象的矩形框。由于在步驟S301中已經估測出對象在當前幀視差圖中的尺寸，因此可以采用與該尺寸相一致的矩形框進行滑動。例如，如圖5所示，矩形框R1代表對象在前一幀中的尺寸，矩形框R2代表估測出的對象在當前幀中的尺寸，則在該步驟S302中可以采用與矩形框R2具有相同尺寸的矩形框R4進行滑動。值得說明的是，在步驟S301中估測出的對象在當前幀視差圖中的尺寸并未考慮對象的旋轉。而當對象旋轉時（例如車輛轉彎時），其在視差圖中的寬度會發生變化。因此，為了適應對象的旋轉，在該步驟中使用的矩形框的尺寸可以與S301中估測出的尺寸不同。例如，可以采用圖本文檔來自技高網...

【技術保護點】
一種對象跟蹤方法，包括：基于對象在前一幀視差圖中的尺寸，確定該對象在當前幀視差圖中的尺寸；以對應于所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動；將前一幀視差圖中采用的預定類型的匹配特征作為在當前幀視差圖中采用的匹配特征，對于當前幀視差圖中所述矩形框滑動到的每個位置區域，計算所述匹配特征在該位置區域的向量表示；計算所述匹配特征在每個所述位置區域的向量表示與所述匹配特征在前一幀視差圖中對象的位置矩形框中的區域的向量表示之間的匹配度；確定各個所述位置區域中具有最大匹配度的位置區域，作為所述對象在當前幀視差圖中的位置。

【技術特征摘要】
1.一種對象跟蹤方法，包括：基于對象在前一幀視差圖中的尺寸，確定該對象在當前幀視差圖中的尺寸；以對應于在當前幀視差圖中的所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動；將前一幀視差圖中采用的預定類型的匹配特征作為在當前幀視差圖中采用的匹配特征，對于當前幀視差圖中所述矩形框滑動到的每個位置區域，計算所述匹配特征在該位置區域的向量表示；計算所述匹配特征在每個所述位置區域的向量表示與所述匹配特征在前一幀視差圖中對象的位置矩形框中的區域的向量表示之間的匹配度；確定各個所述位置區域中具有最大匹配度的位置區域，作為所述對象在當前幀視差圖中的位置；其中在第一幀視差圖中采用的所述預定類型的匹配特征通過如下處理構建：將第一幀視差圖中對象的位置矩形框中的區域劃分成n×m個小塊；計算每個所述小塊中的平均視差值；從所述n×m個小塊中隨機選擇M個小塊對，其中每一個小塊對包括兩個小塊，并且這兩個小塊的平均視差值之差大于第一預定閾值；對于每一個小塊對，連接該小塊對中的兩個小塊形成一個所述匹配特征。2.如權利要求1所述的對象跟蹤方法，其中在前一幀視差圖中采用的各個匹配特征之間的結構關系在對象發生旋轉時保持不變。3.如權利要求1所述的對象跟蹤方法，其中，對應于所述尺寸的矩形框包括：尺寸和所述對象在當前幀視差圖中的尺寸相一致的矩形框、寬度比所述對象在當前幀視差圖中的寬度大的矩形框、以及寬度比所述對象在當前幀視差圖中的寬度小的矩形框，并且所述以對應于所述尺寸的矩形框在當前幀視差圖中的預定區域內滑動包括以上述三種矩形框中的至少一種在所述預定區域內滑動。4.如權利要求1所述的對象跟蹤方法，其中對于當前幀視差圖中所述矩形框滑動到的每個位置區域，計算所述匹配特征在該位置區域的向量表示包括：將所述位置區域劃分為n×m個小塊；計算每個所述小塊中的平均視差值；利用形成匹配特征的兩個小塊在當前幀視差圖中的位置坐標和平均視差值確定所述匹配特征在該位置區域的向量表示。5.如權利要求4所述的對象跟蹤方法，其中計算所述匹配特征在每個所述位置區域的向量表示與所述匹配特征在前一幀視差圖中對象的位置矩形框中的區域的向量表示之間的匹配度包括：對于每個所述位置區域，利用所述匹配特征在該位置區域的各個向量表示之間的結構關系，建立匹配特征的相關性矩陣；對于每個所述相關性矩陣，計算其與利用所述匹配特征在前一幀視差圖中對象的位置矩形框中的區域的向量表示所建立的相關性矩陣的對應元素之間的差值，并計算各個...

【專利技術屬性】
技術研發人員：楊田雨，劉殿超，魯耀杰，師忠超，王剛，
申請(專利權)人：株式會社理光，
類型：發明
國別省市：日本;JP