一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，涉及目標(biāo)跟蹤及識(shí)別領(lǐng)域，技術(shù)方案為，抓拍人臉及行人圖片，同時(shí)記錄抓拍時(shí)間和地點(diǎn)，對兩個(gè)位置的攝像頭拍攝到的圖片進(jìn)行人臉相似度結(jié)果識(shí)別和行人特征識(shí)別；確定兩個(gè)攝像頭獲取圖片為同一目標(biāo)行人；將確定為同一目標(biāo)行人的人臉識(shí)別和行人特征識(shí)別信息整合為全局特征；結(jié)合時(shí)空信息確認(rèn)目標(biāo)行人的行為模式特征，所述時(shí)空信息包括上傳至服務(wù)器的抓拍時(shí)間和地點(diǎn)信息；通過獲取的行為模式特征及全局特征進(jìn)行目標(biāo)行人識(shí)別。本發(fā)明專利技術(shù)的有益效果是：本發(fā)明專利技術(shù)利用多個(gè)人臉攝像頭抓拍點(diǎn)抓拍人臉及行人圖片，緩解了復(fù)雜場景下，目標(biāo)跟蹤及身份難以確定的技術(shù)挑戰(zhàn)，此方法方式更加友好。

A method of target tracking and identification based on dual task learning

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法
本專利技術(shù)涉及目標(biāo)跟蹤及識(shí)別領(lǐng)域，特別涉及一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法。
技術(shù)介紹
基于深度學(xué)習(xí)的目標(biāo)跟蹤、行人再識(shí)別及人臉識(shí)別技術(shù)日益成熟。但在復(fù)雜場景中，僅基于圖片的目標(biāo)跟蹤及識(shí)別技術(shù)難以滿足人們的要求。其原因在于：(1)、復(fù)雜場景中，隨機(jī)抓拍的人臉及行人圖片易受到環(huán)境及目標(biāo)抓拍的角度等因素影響；(2)、非配合場景中，大角度及低分辯的人臉識(shí)別技術(shù)難以實(shí)現(xiàn)目標(biāo)身份“頭位命中”。數(shù)據(jù)融合技術(shù)是處理傳統(tǒng)方法的一種有效手段。基于深度學(xué)習(xí)蘇納法框架，本專利技術(shù)提出一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法。融合學(xué)習(xí)行人圖片、人臉比對結(jié)果及時(shí)空信息等數(shù)據(jù)，訓(xùn)練一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對目標(biāo)的跟蹤與身份識(shí)別的任務(wù)。
技術(shù)實(shí)現(xiàn)思路
針對上述技術(shù)問題，本專利技術(shù)提供一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法。其技術(shù)方案為，包括S1、在行人行進(jìn)路線上安裝多個(gè)人臉攝像頭，抓拍人臉及行人圖片，同時(shí)記錄抓拍時(shí)間和地點(diǎn)，并將圖片及對應(yīng)的信息上傳至數(shù)據(jù)服務(wù)器；S2、結(jié)合數(shù)據(jù)庫，對S1中兩個(gè)位置的攝像頭拍攝到的人臉圖片進(jìn)行人臉相似度結(jié)果識(shí)別，對S1兩個(gè)攝像頭拍攝到的行人圖片進(jìn)行行人特征識(shí)別；S3、對S2的識(shí)別結(jié)果進(jìn)行轉(zhuǎn)化比對，確定兩個(gè)攝像頭獲取圖片中人臉相似度識(shí)別和行人特征識(shí)別為同一目標(biāo)行人；S4、將確定為同一目標(biāo)行人的人臉識(shí)別和行人特征識(shí)別信息整合為全局特征；結(jié)合時(shí)空信息確認(rèn)目標(biāo)行人的行為模式特征，所述時(shí)空信息包括S1上傳至服務(wù)器的抓拍時(shí)間和地點(diǎn)信息；S5、通過S4獲取的行為模式特征及全局特征進(jìn)行目標(biāo)行人識(shí)別。優(yōu)選為，所述S2具體為，S201、利用海量的行人數(shù)據(jù)與人臉數(shù)據(jù)分別預(yù)訓(xùn)練一個(gè)行人特征提取與人臉識(shí)別模型；S202、根據(jù)所述S1中相鄰兩個(gè)攝像頭獲取的行人圖片，用所述S201的行人特征提取模型提取行人特征P1和P2；S203、搭建人臉數(shù)據(jù)庫，根據(jù)所述S1中相鄰兩個(gè)攝像頭獲取的人臉圖片，利用步驟S201人臉識(shí)別模型提取人臉特征；分別返回兩個(gè)攝像頭與人臉數(shù)據(jù)庫中相似度排序高的若干人臉編號(hào)ID1和ID2及相似度結(jié)果F1和F2。優(yōu)選為，所述S203具體為，利用余弦距離公式計(jì)算人臉特征與人臉庫中人臉特征的相似度，并返回兩個(gè)攝像頭的人臉相似度中按從大到小排序靠前的若干個(gè)人臉庫編號(hào)ID1和ID2及對應(yīng)的相似度結(jié)果F1和F2。優(yōu)選為，可取排序前10的人臉編號(hào)ID及相似度結(jié)果F。優(yōu)選為，所述S3具體為，S301、分別將S2人臉識(shí)別的相似度結(jié)果F1與F2輸入到結(jié)果轉(zhuǎn)化矩陣中進(jìn)行學(xué)習(xí)，輸出為人臉識(shí)別相似度的轉(zhuǎn)化特征T1與T2；S302、根據(jù)S2得到的行人特征P1與P2，分別計(jì)算行人特征P1與P2的余弦相似度距離L1，和轉(zhuǎn)化特征T1與T2的余弦相似度距離L2；S303、通過公式θ＝λ1L1+λ2L2，判斷行人特征P1與P2、F1與F2是否屬于同一目標(biāo)行人；如當(dāng)θ大于閾值時(shí)，判斷是為同一目標(biāo)。優(yōu)選為，所述S4具體為，S401、將時(shí)空信息，即攝像頭位置信息和照片抓拍時(shí)間信息，輸入行為模式學(xué)習(xí)層(embedingmodel)學(xué)習(xí)目標(biāo)行人的行為模式特征ST；S402、將轉(zhuǎn)化特征T1與T2分別輸入置信度-局部注意力機(jī)制模型，輸出為局部置信特征X1與X2；S402、將轉(zhuǎn)化特征T1與T2同時(shí)輸入置信度-全部注意力機(jī)制模型，輸出為全局置信特征X3。優(yōu)選為，所述S5具體為，將所述S4的行為模式特征ST、局部置信特征X1與X2及全局置信特征X3串聯(lián)為串聯(lián)特征，并將所述串聯(lián)特征輸入全連接神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，以softmax層為網(wǎng)絡(luò)輸出，串聯(lián)特征的輸出結(jié)果中概率最高下標(biāo)所對應(yīng)的目標(biāo)身份即為本專利技術(shù)識(shí)別結(jié)果。優(yōu)選為，所述S301中，基于轉(zhuǎn)化矩陣識(shí)別人臉相似度的方法為，借助公式：T＝WF；其中，T為轉(zhuǎn)化特征、W為權(quán)重矩陣、F為人臉識(shí)別相似度結(jié)果；利用余弦距離公式計(jì)算T1與T2的距離L2，當(dāng)L2小于閾值時(shí)，即可判斷T1與T2為同一目標(biāo)信息。優(yōu)選為，所述S4中，置信度-局部注意力機(jī)制模型包括：(1)、T′＝β*T,其中(2)、將特征T′與特征T串聯(lián)輸入兩層的全連接網(wǎng)絡(luò)輸出為T″，其維度與T相同；(3)、X＝T*T″，其中X為置信度-注意力機(jī)制模型的輸出；其中T表示轉(zhuǎn)化特征、Ti表示轉(zhuǎn)化特征的第i個(gè)元素、Tmin表示轉(zhuǎn)化特征的最小元素、Tmax表示轉(zhuǎn)化特征的最大元素；β表示置信度權(quán)重因子、T″表示置信度-注意力因子。優(yōu)選為，所述S4中，置信度-全局注意力機(jī)制模型的細(xì)節(jié)包括：(1)、將轉(zhuǎn)化特征T1與T2相加生成融合特征V及目標(biāo)身份ID特征ID1與ID2相加生成融合特征K；(2)、V′＝γ*V，其中(3)、將特征V′、特征K與特征V串聯(lián)輸入兩層的全連接網(wǎng)絡(luò)輸出為V″，其維度與V相同；(4)、X＝V*V″，其中X為置信度-注意力機(jī)制模型的輸出；其中V表示融合特征、Vi表示融合特征的第i個(gè)元素、Vmin表示融合特征的最小元素、Vmax表示融合特征的最大元素；γ表示置信度權(quán)重因子、V″表示置信度-注意力因子。優(yōu)選為，所述S5的公式為：V＝(ST:X1:X2:X3)；Y＝F(V)；其中(ST:X1:X2:X3)表示將ST、X1、X2、X3特征串聯(lián)生成一個(gè)融合特征，F(xiàn)(V)表示本專利技術(shù)的神經(jīng)網(wǎng)絡(luò)模型，Y表示模型輸出。本專利技術(shù)實(shí)施例提供的技術(shù)方案帶來的有益效果是：1、本專利技術(shù)利用多個(gè)人臉攝像頭抓拍點(diǎn)抓拍人臉及行人圖片，緩解了復(fù)雜場景下，目標(biāo)跟蹤及身份難以確定的技術(shù)挑戰(zhàn)，此方法方式更加友好；2、通過結(jié)果轉(zhuǎn)化矩陣學(xué)習(xí)的方式，發(fā)現(xiàn)同一目標(biāo)的人臉識(shí)別相似度結(jié)果，這種方式較為高效、準(zhǔn)確；3、結(jié)合行人特征及人臉識(shí)別相似度轉(zhuǎn)化特征的余弦距離實(shí)現(xiàn)目標(biāo)再識(shí)別；4、通過置信度-注意力機(jī)制，發(fā)現(xiàn)更為精確的人臉識(shí)別相似度結(jié)果；5、融合了目標(biāo)的行為模式特征ST、局部置信特征X1與X2及全局置信特征X3，能準(zhǔn)確識(shí)別目標(biāo)的身份。附圖說明圖1為本專利技術(shù)實(shí)施例的方法流程圖。圖2為本專利技術(shù)實(shí)施例的目標(biāo)跟蹤原理圖。圖3為本專利技術(shù)實(shí)施例的目標(biāo)識(shí)別流程原理圖。具體實(shí)施方式為了使本專利技術(shù)的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本專利技術(shù)進(jìn)行進(jìn)一步詳細(xì)說明。當(dāng)然，此處所描述的具體實(shí)施例僅用以解釋本專利技術(shù)，并不用于限定本專利技術(shù)。需要說明的是，在不沖突的情況下，本專利技術(shù)創(chuàng)造中的實(shí)施例及實(shí)施例中的特征可以相互組合。實(shí)施例1參見圖1至圖3，本專利技術(shù)提供一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，包括S1、在行人行進(jìn)路線上安裝多個(gè)人臉攝像頭，抓拍人臉及行人圖片，同時(shí)記錄抓拍時(shí)間和地點(diǎn)，并將圖片及對應(yīng)的信息上傳至數(shù)據(jù)服務(wù)器；S2、結(jié)合數(shù)據(jù)庫，對S1中兩個(gè)位置的攝像頭拍攝到本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，其特征在于，包括/nS1、在行人行進(jìn)路線上安裝多個(gè)人臉攝像頭，抓拍人臉及行人圖片，同時(shí)記錄抓拍時(shí)間和地點(diǎn)，并將圖片及對應(yīng)的信息上傳至數(shù)據(jù)服務(wù)器；/nS2、結(jié)合數(shù)據(jù)庫，對S1中兩個(gè)位置的攝像頭拍攝到的人臉圖片進(jìn)行人臉相似度結(jié)果識(shí)別，對S1兩個(gè)攝像頭拍攝到的行人圖片進(jìn)行行人特征識(shí)別；/nS3、對S2的識(shí)別結(jié)果進(jìn)行轉(zhuǎn)化比對，確定兩個(gè)攝像頭獲取圖片中人臉相似度識(shí)別和行人特征識(shí)別為同一目標(biāo)行人；/nS4、將確定為同一目標(biāo)行人的人臉識(shí)別和行人特征識(shí)別信息整合為全局特征；結(jié)合時(shí)空信息確認(rèn)目標(biāo)行人的行為模式特征，所述時(shí)空信息包括S1上傳至服務(wù)器的抓拍時(shí)間和地點(diǎn)信息；/nS5、通過S4獲取的行為模式特征及全局特征進(jìn)行目標(biāo)行人識(shí)別。/n

【技術(shù)特征摘要】
1.一種基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，其特征在于，包括
S1、在行人行進(jìn)路線上安裝多個(gè)人臉攝像頭，抓拍人臉及行人圖片，同時(shí)記錄抓拍時(shí)間和地點(diǎn)，并將圖片及對應(yīng)的信息上傳至數(shù)據(jù)服務(wù)器；
S2、結(jié)合數(shù)據(jù)庫，對S1中兩個(gè)位置的攝像頭拍攝到的人臉圖片進(jìn)行人臉相似度結(jié)果識(shí)別，對S1兩個(gè)攝像頭拍攝到的行人圖片進(jìn)行行人特征識(shí)別；
S3、對S2的識(shí)別結(jié)果進(jìn)行轉(zhuǎn)化比對，確定兩個(gè)攝像頭獲取圖片中人臉相似度識(shí)別和行人特征識(shí)別為同一目標(biāo)行人；
S4、將確定為同一目標(biāo)行人的人臉識(shí)別和行人特征識(shí)別信息整合為全局特征；結(jié)合時(shí)空信息確認(rèn)目標(biāo)行人的行為模式特征，所述時(shí)空信息包括S1上傳至服務(wù)器的抓拍時(shí)間和地點(diǎn)信息；
S5、通過S4獲取的行為模式特征及全局特征進(jìn)行目標(biāo)行人識(shí)別。


2.根據(jù)權(quán)利要求1所述的基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，其特征在于，所述S2具體為，
S201、利用行人數(shù)據(jù)與人臉數(shù)據(jù)分別預(yù)訓(xùn)練一個(gè)行人特征提取與人臉識(shí)別模型；
S202、根據(jù)所述S1中相鄰兩個(gè)攝像頭獲取的行人圖片，用所述S201的行人特征提取模型提取行人特征P1和P2；
S203、搭建人臉數(shù)據(jù)庫，根據(jù)所述S1中相鄰兩個(gè)攝像頭獲取的人臉圖片，利用步驟S201人臉識(shí)別模型提取人臉特征；分別返回兩個(gè)攝像頭與人臉數(shù)據(jù)庫中相似度排序高的若干人臉編號(hào)ID1和ID2及相似度結(jié)果F1和F2。


3.根據(jù)權(quán)利要求2所述的基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，其特征在于，所述S203具體為，利用余弦距離公式計(jì)算人臉特征與人臉庫中人臉特征的相似度，并返回兩個(gè)攝像頭的人臉相似度中按從大到小排序靠前的若干個(gè)人臉庫編號(hào)ID1和ID2及對應(yīng)的相似度結(jié)果F1和F2。


4.根據(jù)權(quán)利要求2所述的基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，其特征在于，所述S3具體為，
S301、分別將S2人臉識(shí)別的相似度結(jié)果F1與F2輸入到結(jié)果轉(zhuǎn)化矩陣中進(jìn)行學(xué)習(xí)，輸出為人臉識(shí)別相似度的轉(zhuǎn)化特征T1與T2；
S302、根據(jù)S2得到的行人特征P1與P2，分別計(jì)算行人特征P1與P2的余弦相似度距離L1，和轉(zhuǎn)化特征T1與T2的余弦相似度距離L2；
S303、通過公式θ＝λ1L1+λ2L2，判斷行人特征P1與P2、F1與F2是否屬于同一目標(biāo)行人；
如當(dāng)θ大于閾值時(shí)，判斷是為同一目標(biāo)。


5.根據(jù)權(quán)利要求4所述的基于雙任務(wù)學(xué)習(xí)的目標(biāo)跟蹤及身份識(shí)別方法，其特征在于，所述S4具體為，
S401、將時(shí)空信息輸入行為模式學(xué)習(xí)層學(xué)習(xí)目標(biāo)行人的行為模式特征ST；
S402、將轉(zhuǎn)化特征T1與T2分別輸入置信度-局部注意力機(jī)制模型...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：蔡曉東，黃玳，
申請(專利權(quán))人：桂林電子科技大學(xué)，
類型：發(fā)明
國別省市：廣西;45