一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法技術(shù)

本發(fā)明專利技術(shù)公開(kāi)了一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，首先根據(jù)多目標(biāo)檢測(cè)方法得到視頻中各幀的檢測(cè)結(jié)果；然后由這些檢測(cè)響應(yīng)和構(gòu)建高階邊的限制函數(shù)F(v

A multiple target tracking method based on high order cross temporal correlation

The invention discloses a method for multi target tracking based on high order cross temporal correlation, according to the detection of multi target detection results of each frame in the video; then the response from these tests and construction of higher order restriction function F (V

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法
本專利技術(shù)屬于智能視頻監(jiān)控領(lǐng)域，特別涉及一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法。
技術(shù)介紹
近年來(lái)，多目標(biāo)跟蹤算法越來(lái)越受到計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)學(xué)者的重視，多目標(biāo)跟蹤算法主要目的是同時(shí)定位并標(biāo)記多個(gè)移動(dòng)目標(biāo)的位置，按照時(shí)域順序連接各個(gè)標(biāo)記位，進(jìn)而獲得多個(gè)目標(biāo)的運(yùn)動(dòng)長(zhǎng)軌跡。換句話說(shuō)，目標(biāo)跟蹤技術(shù)實(shí)際上是利用輸入的視頻序列獲得檢測(cè)信息，并對(duì)其進(jìn)行一定的關(guān)聯(lián)處理，獲得目標(biāo)的跟蹤軌跡。目前主流的多目標(biāo)視頻跟蹤技術(shù)可以概括為兩個(gè)部分:目標(biāo)檢測(cè)與目標(biāo)跟蹤。其中，目標(biāo)檢測(cè)部分的主要任務(wù)是從視頻圖像中檢測(cè)出感興趣的目標(biāo)。可視化監(jiān)視和監(jiān)測(cè)系統(tǒng)通常采用靜態(tài)攝像頭，從所謂靜止的背景中分離出運(yùn)動(dòng)物體，實(shí)現(xiàn)目標(biāo)的檢測(cè)。這種系統(tǒng)通常采用構(gòu)建背景模型方式，利用閾值計(jì)算，檢測(cè)出前景目標(biāo)。目標(biāo)跟蹤部分主要任務(wù)是將檢測(cè)獲得的目標(biāo)進(jìn)行關(guān)聯(lián)處理。基于軌跡關(guān)聯(lián)的多目標(biāo)跟蹤算法是國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)算法。軌跡關(guān)聯(lián)算法的主要原理是將目標(biāo)檢測(cè)后獲得的多個(gè)短小的跟蹤片段進(jìn)行多個(gè)層次的關(guān)聯(lián)，最終獲得目標(biāo)的連續(xù)、平滑的跟蹤軌跡。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于提出一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，首先根據(jù)當(dāng)前主流的多目標(biāo)檢測(cè)方法得到視頻中各幀的檢測(cè)結(jié)果，然后由這些檢測(cè)響應(yīng)和構(gòu)建高階邊的限制函數(shù)F(vi,vj)來(lái)構(gòu)建一個(gè)跨時(shí)域的普通高階圖；之后為了快速提取普通高階圖中包含高階子圖，使用RANSAC-style的優(yōu)化方法將普通高階圖先轉(zhuǎn)化成隨機(jī)一致性高階圖，再進(jìn)一步轉(zhuǎn)化成普通的二階圖，最后對(duì)普通二階圖進(jìn)行子圖搜索，再將最終得到的各個(gè)子圖中的多個(gè)軌跡段按照時(shí)域的先后順序連接起來(lái)，形成目標(biāo)長(zhǎng)軌跡，該方法使對(duì)雜場(chǎng)景中的多目標(biāo)跟蹤具有很好的魯棒性，已有效地解決鄰近目標(biāo)表觀相似時(shí)出現(xiàn)身份交換或者局部關(guān)聯(lián)錯(cuò)誤造成的跟蹤失敗等問(wèn)題。為了實(shí)現(xiàn)上述目的，本專利技術(shù)的技術(shù)方案是運(yùn)用了一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，包括如下步驟：步驟A、將長(zhǎng)視頻序列劃分成N等份，在每個(gè)等分時(shí)間段中根據(jù)多目標(biāo)的離線檢測(cè)結(jié)果分別進(jìn)行普通高階圖H的構(gòu)建；步驟B、通過(guò)逐步采樣和建立多個(gè)候選連接樣本來(lái)完成隨機(jī)一致性高階圖到普通高階圖H的近似；步驟C、為提高高階子圖搜素的效率進(jìn)行隨機(jī)一致性高階圖到普通二階圖H的轉(zhuǎn)換；步驟D、選擇合適的權(quán)值測(cè)度函數(shù)來(lái)對(duì)普通二階圖中的子圖進(jìn)行搜索；步驟E、根據(jù)貪婪算法解決以上搜索到的子圖不符合物理限制的情況，再根據(jù)局部軌跡段出現(xiàn)的時(shí)序順序進(jìn)行連接，從而得到目標(biāo)長(zhǎng)軌跡。進(jìn)一步地，所述步驟A中具體包含步驟如下：由于對(duì)一個(gè)長(zhǎng)視頻序列串行進(jìn)行處理會(huì)非常耗時(shí)，不滿足實(shí)時(shí)性的要求，故采用分層次并行處理的方法，即將此長(zhǎng)視頻序列分成N等份，每等份包含Ln幀，若最后一組時(shí)間段不足Ln幀，則并入前一組中。然后對(duì)每一組時(shí)間段分別根據(jù)高階邊的限制函數(shù)F(vi,vj)∈{0,1}構(gòu)建自己的跨時(shí)域高階圖H＝(V,E,α)，其中V代表高階圖中的頂點(diǎn)(跟蹤軌跡段)，E代表高階圖中的高階邊，α代表屬于頂點(diǎn)同一條高階邊的概率。進(jìn)一步地，所述步驟B中具體包含步驟如下：步驟B-1，為了后面快速提取高階圖中的所有包含目標(biāo)軌跡段的高階子圖，需要先將普通高階圖進(jìn)行近似處理，即將普通高階圖轉(zhuǎn)化為隨機(jī)一致性高階圖。首先通過(guò)逐步采樣的方法獲得多個(gè)候選連接樣本來(lái)建立隨機(jī)一致性高階圖RCH＝{S1,...,Si,...}，其中Si為第i個(gè)連接樣本，每個(gè)連接樣本包含L個(gè)頂點(diǎn)，這個(gè)L個(gè)頂點(diǎn)是從包含Vi的同一條高階邊中隨機(jī)選取的，且滿足限制函數(shù)F(vi,vj)＝1,j＝1,...,L-1。步驟B-2，由于B-1中是隨機(jī)選取的滿足限制函數(shù)的頂點(diǎn)，故存在不可靠的連接樣本。為了排除上述存在的壞連接樣本，可以通過(guò)兩種置信函數(shù)Ca(s)和Cm(s)結(jié)合考慮來(lái)獲得可靠的連接樣本，進(jìn)而建立包含原高階圖H中所有重要高階子圖的RCH，其中Ca(s)用來(lái)度量目標(biāo)的表象相似性，Cm(s)用來(lái)度量目標(biāo)的運(yùn)動(dòng)相似性。進(jìn)一步地，所述步驟C中具體包含步驟如下：利用步驟B-2中得到的可靠隨機(jī)一致性高階圖完成向普通二階圖H'＝(V',E',W')的轉(zhuǎn)換，其中W'為二階圖中兩個(gè)頂點(diǎn)同屬于一條邊的概率。為了確定二階圖中兩個(gè)頂點(diǎn)之間的概率W'，需要建立一個(gè)點(diǎn)集近鄰圖Ω＝(ν,ε)，在點(diǎn)集近鄰圖中，當(dāng)且僅當(dāng)限制函數(shù)F(vi,vj)＝1時(shí)，兩邊之間存在一條邊。然后使用Clique圖搜索算法完成RCH到普通二階圖H'的轉(zhuǎn)換。進(jìn)一步地，所述步驟D中具體包含步驟如下：首先將步驟C得到的普通二階圖H'中的每個(gè)頂點(diǎn)vp作為起始點(diǎn)，需要搜索個(gè)頂點(diǎn)，并且根據(jù)定義的權(quán)值測(cè)度函數(shù)Γ(vpUN(vp))，使得這些點(diǎn)組成的點(diǎn)集能夠獲得最大的權(quán)值測(cè)度函數(shù)值，這樣所搜索到的子圖具有個(gè)頂點(diǎn)。為了避免子圖中頂點(diǎn)數(shù)目出現(xiàn)退化問(wèn)題，需要對(duì)搜索的子圖設(shè)置一個(gè)最小尺度且另外，令yi＝1為子圖頂點(diǎn)集合U的指示變量，當(dāng)yi＝1時(shí)，表示頂點(diǎn)vi屬于這個(gè)搜索的子圖；當(dāng)yi＝0則不屬于該子圖。進(jìn)一步地，所述步驟E中具體包含步驟如下：由于步驟D中搜索的不同子圖之間可能存在不符合物理限制的情況，比如同一個(gè)頂點(diǎn)(跟蹤軌跡段)不可能同時(shí)屬于兩個(gè)或多個(gè)不同的目標(biāo)，這違反了物理事實(shí)。為了消除這種沖突情況，可采用貪婪算法進(jìn)行處理，先將得到的子圖按照置信概率大小進(jìn)行排序，得到排序后的子圖序列T。再令為后處理的子圖集合，根據(jù)貪婪算法把沖突的頂點(diǎn)vi加入有重疊部分的子圖中，即viUT'→T'。最后把后處理子圖按照時(shí)序順序?qū)⒏鱾€(gè)頂點(diǎn)連接起來(lái)得到目標(biāo)長(zhǎng)軌跡。總體而言，通過(guò)本專利技術(shù)所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得以下有益效果：1、本專利技術(shù)采用了步驟A和B，將一個(gè)耗時(shí)長(zhǎng)且容量大的視頻序列分割成N等份，用并行的方式來(lái)代替串行進(jìn)行處理，大大地提高了視頻的處理速度，達(dá)到了實(shí)時(shí)性的要求；對(duì)其中的每個(gè)時(shí)間片段都各自構(gòu)建一個(gè)高階圖，由于高階圖的邊是由大于2個(gè)的頂點(diǎn)構(gòu)成，所以可將時(shí)間片段中的多個(gè)軌跡段進(jìn)行跨時(shí)域關(guān)聯(lián)，充分利用軌跡段之間的高階關(guān)系作為關(guān)聯(lián)條件，這樣可大大減小局部關(guān)聯(lián)出現(xiàn)錯(cuò)誤的概率，對(duì)鄰近表觀相似的目標(biāo)有很好的魯棒性；2、本專利技術(shù)采用了步驟C、步驟D和步驟E，為了快速提取步驟B得到的隨機(jī)一致性高階圖中包含的所有關(guān)聯(lián)高階子圖，將高階圖進(jìn)一步轉(zhuǎn)化為普通二階圖，并采用Clique圖搜索算法和權(quán)值測(cè)度函數(shù)進(jìn)行處理，這樣可使子圖搜索效率提升百倍以上，最后由貪婪算法處理得到的高階子圖集合可有效地去除不符合物理限制的情況，保證軌跡的唯一性和延續(xù)性。附圖說(shuō)明圖1為本專利技術(shù)的基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法流程圖。具體實(shí)施方式為了使本專利技術(shù)的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖和實(shí)施例對(duì)本專利技術(shù)作進(jìn)一步的詳細(xì)說(shuō)明。本專利技術(shù)的實(shí)施示意圖如圖1所示，以下為一個(gè)具體的實(shí)施例，其具體步驟依次為：步驟A、將長(zhǎng)視頻序列劃分成N等份，在每個(gè)等分時(shí)間段中根據(jù)多目標(biāo)的離線檢測(cè)結(jié)果分別進(jìn)行普通高階圖H的構(gòu)建；由于對(duì)一個(gè)長(zhǎng)視頻序列串行進(jìn)行處理會(huì)非常耗時(shí)，不滿足實(shí)時(shí)性的要求，故采用分層次并行處理的方法，即將此長(zhǎng)視頻序列分成N等份，每等份包含Ln幀，若最后一組時(shí)間段不足Ln幀，則并入前一組中。然后對(duì)每一組時(shí)間段分別根據(jù)高階邊的限制函數(shù)F(vi,vj)∈{0,1}構(gòu)建自己的跨時(shí)域高階圖H＝(V,E,α)，其中V代表高階圖中的頂點(diǎn)，E代本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，其特征在于，包括步驟如下：步驟A，將長(zhǎng)視頻序列劃分成N等份，在每個(gè)等分時(shí)間段中根據(jù)多目標(biāo)的離線檢測(cè)結(jié)果分別進(jìn)行普通高階圖H的構(gòu)建；步驟B，通過(guò)逐步采樣和建立多個(gè)候選連接樣本來(lái)完成隨機(jī)一致性高階圖到普通高階圖H的近似；步驟C，為提升高階子圖搜素的效率進(jìn)行隨機(jī)一致性高階圖到普通二階圖H的轉(zhuǎn)換；步驟D，選擇合適的權(quán)值測(cè)度函數(shù)來(lái)對(duì)普通二階圖中的子圖進(jìn)行搜索；步驟E，根據(jù)貪婪算法解決以上搜索到的子圖不符合物理限制的情況，再根據(jù)局部軌跡段出現(xiàn)的時(shí)序順序進(jìn)行連接，從而得到目標(biāo)長(zhǎng)軌跡。

【技術(shù)特征摘要】
1.一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，其特征在于，包括步驟如下：步驟A，將長(zhǎng)視頻序列劃分成N等份，在每個(gè)等分時(shí)間段中根據(jù)多目標(biāo)的離線檢測(cè)結(jié)果分別進(jìn)行普通高階圖H的構(gòu)建；步驟B，通過(guò)逐步采樣和建立多個(gè)候選連接樣本來(lái)完成隨機(jī)一致性高階圖到普通高階圖H的近似；步驟C，為提升高階子圖搜素的效率進(jìn)行隨機(jī)一致性高階圖到普通二階圖H的轉(zhuǎn)換；步驟D，選擇合適的權(quán)值測(cè)度函數(shù)來(lái)對(duì)普通二階圖中的子圖進(jìn)行搜索；步驟E，根據(jù)貪婪算法解決以上搜索到的子圖不符合物理限制的情況，再根據(jù)局部軌跡段出現(xiàn)的時(shí)序順序進(jìn)行連接，從而得到目標(biāo)長(zhǎng)軌跡。2.根據(jù)權(quán)利要求1所述的一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，其特征在于，所述步驟A中包括如下步驟：由于對(duì)一個(gè)長(zhǎng)視頻序列串行進(jìn)行處理會(huì)非常耗時(shí)，不滿足實(shí)時(shí)性的要求，故采用分層次并行處理的方法，即將此長(zhǎng)視頻序列分成N等份，每等份包含Ln幀，若最后一組時(shí)間段不足Ln幀，則并入前一組中，然后對(duì)每一組時(shí)間段分別根據(jù)構(gòu)成高階圖邊的限制函數(shù)F(vi,vj)∈{0,1}構(gòu)建跨時(shí)域高階圖H＝(V,E,α)，其中V代表高階圖中的頂點(diǎn)，E代表高階圖中的高階邊，α代表屬于頂點(diǎn)同一條高階邊的概率。3.根據(jù)權(quán)利要求1所述的一種基于高階圖跨時(shí)域關(guān)聯(lián)的多目標(biāo)跟蹤方法，其特征在于，所述步驟B中包括如下步驟：步驟B-1，為了在步驟C快速提取高階圖中的所有包含目標(biāo)軌跡段的高階子圖，需要先將普通高階圖進(jìn)行近似處理，即將普通高階圖轉(zhuǎn)化為隨機(jī)一致性高階圖，首先通過(guò)逐步采樣的方法獲得多個(gè)候選連接樣本來(lái)建立隨機(jī)一致性高階圖RCH＝{S1,...,Si,...}，其中Si為第i個(gè)連接樣本，每個(gè)連接樣本包含L個(gè)頂點(diǎn)，這個(gè)L個(gè)頂點(diǎn)是從包含Vi的同一條高階圖邊中隨機(jī)選取的，且滿足限制函數(shù)F(vi,vj)＝1,j＝1,...,L-1；步驟B-2，由于B-1中是隨機(jī)選取的滿足限制函數(shù)的頂點(diǎn)，故存在不可靠的連接樣本，為了排除上述存在的壞連接樣本，可以通過(guò)兩種置信函數(shù)Ca...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：韓光，余小意，李曉飛，段朦，
申請(qǐng)(專利權(quán))人：南京郵電大學(xué)，
類型：發(fā)明
國(guó)別省市：江蘇,32