一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法、裝置與設(shè)備制造方法及圖紙

本發(fā)明專利技術(shù)屬于圖像處理技術(shù)領(lǐng)域，尤其為一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法、裝置與設(shè)備，首先獲取一幅包含待跟蹤目標(biāo)物體的圖像作為模板幀，以及獲取需要進(jìn)行目標(biāo)物體跟蹤的圖像序列，然后通過去煙霧與清晰化模塊得到模板幀和圖像序列中各圖像幀對(duì)應(yīng)的高分辨率清晰化圖像，再通過目標(biāo)物體跟蹤模塊在圖像序列的各高分辨率清晰化圖像中得到與模板幀對(duì)應(yīng)的高分辨率清晰化圖像中目標(biāo)物體相匹配的目標(biāo)物體的位置坐標(biāo)，實(shí)現(xiàn)了在存在煙霧干擾及分辨率低情況下，在圖像序列中對(duì)目標(biāo)物體的跟蹤。中對(duì)目標(biāo)物體的跟蹤。中對(duì)目標(biāo)物體的跟蹤。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法、裝置與設(shè)備


[0001]本專利技術(shù)屬于圖像處理
，具體涉及一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法。

技術(shù)介紹

[0002]在野外復(fù)雜自然場(chǎng)景下，基于視覺的特定運(yùn)動(dòng)目標(biāo)跟蹤任務(wù)受如下因素限制：(1)煙霧干擾；(2)低成本成像設(shè)備的圖像分辨率不足，且拍攝運(yùn)動(dòng)目標(biāo)容易導(dǎo)致目標(biāo)在圖像上模糊；(3)目標(biāo)物體尺度范圍較大。其中，前兩個(gè)因素導(dǎo)致圖像或視頻中目標(biāo)物體模糊不清難以分辨，第三個(gè)因素對(duì)蹤算法在多尺度物體的自適應(yīng)檢測(cè)與跟蹤方面造成困難。

技術(shù)實(shí)現(xiàn)思路

[0003]本專利技術(shù)旨在提供一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法、裝置與設(shè)備，解決現(xiàn)有技術(shù)中復(fù)雜場(chǎng)景下的低分辨率圖像中特定目標(biāo)物體跟蹤困難的技術(shù)問題。
[0004]為解決上述技術(shù)問題，本專利技術(shù)的第一方面是：
[0005]提供一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法，包括：
[0006]獲取一幅包含待跟蹤目標(biāo)物體的圖像作為模板幀；
[0007]通過去煙霧與清晰化模塊得到所述模板幀對(duì)應(yīng)的第一高分辨率清晰化圖像；
[0008]在所述第一高分辨率清晰化圖像中指定目標(biāo)物體；
[0009]獲取需要進(jìn)行目標(biāo)物體跟蹤的圖像序列，通過去煙霧與清晰化模塊得到所述圖像序列中各圖像幀對(duì)應(yīng)的第二高分辨率清晰化圖像；
[0010]通過目標(biāo)物體跟蹤模塊在各所述第二高分辨率清晰化圖像中得到與在所述第一高分辨率清晰化圖像中指定的目標(biāo)物體匹配的目標(biāo)物體的位置坐標(biāo)。
[0011]優(yōu)選的，所述通過去煙霧與清晰化模塊得到所述模板幀對(duì)應(yīng)的第一高分辨率清晰化圖像包括：
[0012]通過兩個(gè)子網(wǎng)絡(luò)的級(jí)聯(lián)實(shí)現(xiàn)兩個(gè)子任務(wù)，所述兩個(gè)子網(wǎng)絡(luò)分別為第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)，所述第一子網(wǎng)絡(luò)通過多尺度圖像的融合來去除所述模板幀中煙霧干擾，所述第二子網(wǎng)絡(luò)通過編碼器
?
解碼器網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)低分辨率圖像的清晰化，最終得到所述第一高分辨率清晰化圖像。
[0013]優(yōu)選的，所述第一子網(wǎng)絡(luò)通過多尺度圖像的融合來去除所述模板幀中煙霧干擾包括：
[0014]設(shè)所述第一子網(wǎng)絡(luò)為G1，所述模板幀為被煙霧污染的低分辨率圖像I
LR，0
，使用深度卷積網(wǎng)絡(luò)模型對(duì)圖像I
LR，0
進(jìn)行多次上采樣和下采樣，提取圖像特征獲得特征圖；
[0015]對(duì)獲取的所述特征圖進(jìn)行融合，抓取圖像I
LR，0
的局部和全局特征，融合后得到特征圖f1。
[0016]優(yōu)選的，所述去煙霧與清晰化模塊在訓(xùn)練過程中，獲取包含有待跟蹤目標(biāo)物體且沒有煙霧干擾的真實(shí)圖像作為第一對(duì)比圖像，并對(duì)融合后得到的特征圖f1進(jìn)行卷積操作得到中間預(yù)測(cè)特征圖通過第一損失函數(shù)計(jì)算所述中間預(yù)測(cè)特征圖與所述第一對(duì)比圖像的差異程度。
[0017]優(yōu)選的，所述去煙霧與清晰化模塊在訓(xùn)練過程中，引入第一判別器D1，通過所述第一判別器D1判斷所述第一子網(wǎng)絡(luò)G1輸出的圖像是生成的沒有煙霧干擾的圖像，還是真實(shí)的沒有煙霧干擾的圖像，并通過對(duì)抗損失的形式驅(qū)動(dòng)所述第一子網(wǎng)絡(luò)生成更加逼真的圖像。
[0018]優(yōu)選的，所述第二子網(wǎng)絡(luò)通過編碼器
?
解碼器網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)低分辨率圖像的清晰化包括：
[0019]設(shè)所述第二子網(wǎng)絡(luò)為G2，將經(jīng)所述第一子網(wǎng)絡(luò)處理后的特征圖進(jìn)行上采樣，得到與對(duì)應(yīng)于所述第一高分辨率清晰化圖像尺寸一致的特征圖f2；
[0020]然后使用編碼器
?
解碼器網(wǎng)絡(luò)結(jié)構(gòu)對(duì)特征圖f2進(jìn)行進(jìn)一步編碼并解碼獲取所述第一高分辨率清晰化圖像。
[0021]優(yōu)選的，所述去煙霧與清晰化模塊在訓(xùn)練過程中，獲取包含有待跟蹤目標(biāo)物體的高分辨率清晰的真實(shí)圖像作為第二對(duì)比圖像，并對(duì)所述第一高分辨率清晰化圖像進(jìn)行卷積操作得到預(yù)測(cè)高分辨率圖像通過第二損失函數(shù)計(jì)算所述預(yù)測(cè)高分辨率圖像與所述第二對(duì)比圖像的差異程度。
[0022]優(yōu)選的，所述去煙霧與清晰化模塊在訓(xùn)練過程中，引入第二判別器D2，通過所述第一判別器D2判斷所述第二子網(wǎng)絡(luò)G2輸出的圖像是生成的高分辨率清晰圖像，還是真實(shí)的高分辨率清晰圖像，并通過對(duì)抗損失的形式驅(qū)動(dòng)所述第二子網(wǎng)絡(luò)生成更加逼真的圖像。
[0023]優(yōu)選的，所述通過目標(biāo)物體跟蹤模塊在各所述第二高分辨率清晰化圖像中得到與在所述第一高分辨率清晰化圖像中指定的目標(biāo)物體匹配的目標(biāo)物體的位置坐標(biāo)包括：
[0024]設(shè)在所述第一高分辨率清晰化圖像中指定的目標(biāo)物體為目標(biāo)物體模板Z，設(shè)當(dāng)前所述第二高分辨率清晰化圖像為待跟蹤圖像X；
[0025]所述目標(biāo)物體跟蹤模塊使用輕量級(jí)網(wǎng)絡(luò)模型作為主干網(wǎng)提取所述目標(biāo)物體模板Z和待跟蹤圖像X的圖像特征；
[0026]所述目標(biāo)物體跟蹤模塊使用多尺度特征融合單元融合從所述目標(biāo)物體模板Z和待跟蹤圖像X提取的不同尺度的圖像特征；
[0027]所述目標(biāo)物體跟蹤模塊使用交叉注意力融合單元通過單分支結(jié)構(gòu)隱式地計(jì)算所述目標(biāo)物體模板Z和待跟蹤圖像X的相關(guān)性，從而檢測(cè)待跟蹤圖像X中目標(biāo)物體的位置。
[0028]優(yōu)選的，所述目標(biāo)物體跟蹤模塊使用多尺度特征融合單元融合從所述目標(biāo)物體模板Z和待跟蹤圖像X提取的不同尺度的圖像特征包括：
[0029]所述多尺度特征融合單元將輸入的圖像特征分為n組，并經(jīng)過n組不同深度的可分離卷積網(wǎng)絡(luò)，學(xué)習(xí)n個(gè)尺度的圖像特征，然后通過張量拼接方式恢復(fù)圖像特征維度，再使用一個(gè)n*n的卷積核將n組多尺度特征進(jìn)行融合，并輸入給所述交叉注意力融合單元。
[0030]優(yōu)選的，所述目標(biāo)物體跟蹤模塊使用交叉注意力融合單元通過單分支結(jié)構(gòu)隱式地計(jì)算所述目標(biāo)物體模板Z和待跟蹤圖像X的相關(guān)性包括：
[0031]所述目標(biāo)物體模板Z的圖像特征經(jīng)所述多尺度特征融合單元后獲取目標(biāo)物體模板特征圖Z
l
，所述待跟蹤圖像X的圖像特征經(jīng)所述多尺度特征融合單元后獲取待跟蹤圖像特
征圖X
l
；
[0032]所述交叉注意力融合單元對(duì)從相應(yīng)的多尺度特征融合單元傳來的目標(biāo)物體模板特征圖Z
l
和待跟蹤圖像特征圖X
l
進(jìn)行融合，隱式地獲得所述待跟蹤圖像特征圖X
l
中每一像素位置與所述目標(biāo)物體模板特征圖Z
l
的相關(guān)性。
[0033]優(yōu)選的，所述目標(biāo)物體跟蹤模塊使用兩個(gè)檢測(cè)分支進(jìn)行預(yù)測(cè)，這兩個(gè)檢測(cè)分支分別為第一檢測(cè)分支和第二檢測(cè)分支所述第一檢測(cè)分支用于輸出所述待跟蹤圖像X中每個(gè)像素位置包含目標(biāo)物體的概率，所述第二檢測(cè)分支用于輸出在所述待跟蹤圖像X檢測(cè)出的目標(biāo)物體尺寸。
[0034]優(yōu)選的，所述目標(biāo)物體跟蹤模塊在訓(xùn)練過程中，引入第三損失函數(shù)和第四損失函數(shù)監(jiān)督訓(xùn)練，通過第三損失函數(shù)和第四損失函數(shù)分別計(jì)算所述第一檢測(cè)分支和第二檢測(cè)分支輸出結(jié)果與真實(shí)結(jié)果的差異程度。
[0035]優(yōu)選的，所述獲取一幅包含待跟蹤目標(biāo)物體的圖像是使用低分辨率相機(jī)拍攝；所述圖本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法，其特征在于，包括：獲取一幅包含待跟蹤目標(biāo)物體的圖像作為模板幀；通過去煙霧與清晰化模塊得到所述模板幀對(duì)應(yīng)的第一高分辨率清晰化圖像；在所述第一高分辨率清晰化圖像中指定目標(biāo)物體；獲取需要進(jìn)行目標(biāo)物體跟蹤的圖像序列，通過去煙霧與清晰化模塊得到所述圖像序列中各圖像幀對(duì)應(yīng)的第二高分辨率清晰化圖像；通過目標(biāo)物體跟蹤模塊在各所述第二高分辨率清晰化圖像中得到與在所述第一高分辨率清晰化圖像中指定的目標(biāo)物體匹配的目標(biāo)物體的位置坐標(biāo)。2.根據(jù)權(quán)利要求1所述的復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法，其特征在于，所述通過去煙霧與清晰化模塊得到所述模板幀對(duì)應(yīng)的第一高分辨率清晰化圖像包括：通過兩個(gè)子網(wǎng)絡(luò)的級(jí)聯(lián)實(shí)現(xiàn)兩個(gè)子任務(wù)，所述兩個(gè)子網(wǎng)絡(luò)分別為第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)，所述第一子網(wǎng)絡(luò)通過多尺度圖像的融合來去除所述模板幀中煙霧干擾，所述第二子網(wǎng)絡(luò)通過編碼器
?
解碼器網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)低分辨率圖像的清晰化，最終得到所述第一高分辨率清晰化圖像。3.根據(jù)權(quán)利要求2所述的復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法，其特征在于，所述第一子網(wǎng)絡(luò)通過多尺度圖像的融合來去除所述模板幀中煙霧干擾包括：設(shè)所述第一子網(wǎng)絡(luò)為G1，所述模板幀為被煙霧污染的低分辨率圖像I
LR，0
，使用深度卷積網(wǎng)絡(luò)模型對(duì)圖像I
LR，0
進(jìn)行多次上采樣和下采樣，提取圖像特征獲得特征圖；對(duì)獲取的所述特征圖進(jìn)行融合，抓取圖像I
LR，0
的局部和全局特征，融合后得到特征圖f1；所述去煙霧與清晰化模塊在訓(xùn)練過程中，獲取包含有待跟蹤目標(biāo)物體且沒有煙霧干擾的真實(shí)圖像作為第一對(duì)比圖像，并對(duì)融合后得到的特征圖f1進(jìn)行卷積操作得到中間預(yù)測(cè)特征圖通過第一損失函數(shù)計(jì)算所述中間預(yù)測(cè)特征圖與所述第一對(duì)比圖像的差異程度；所述去煙霧與清晰化模塊在訓(xùn)練過程中，引入第一判別器D1，通過所述第一判別器D1判斷所述第一子網(wǎng)絡(luò)G1輸出的圖像是生成的沒有煙霧干擾的圖像，還是真實(shí)的沒有煙霧干擾的圖像，并通過對(duì)抗損失的形式驅(qū)動(dòng)所述第一子網(wǎng)絡(luò)生成更加逼真的圖像。4.根據(jù)權(quán)利要求2所述的復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法，其特征在于，所述第二子網(wǎng)絡(luò)通過編碼器
?
解碼器網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)低分辨率圖像的清晰化包括：設(shè)所述第二子網(wǎng)絡(luò)為G2，將經(jīng)所述第一子網(wǎng)絡(luò)處理后的特征圖進(jìn)行上采樣，得到與對(duì)應(yīng)于所述第一高分辨率清晰化圖像尺寸一致的特征圖f2；然后使用編碼器
?
解碼器網(wǎng)絡(luò)結(jié)構(gòu)對(duì)特征圖f2進(jìn)行進(jìn)一步編碼并解碼獲取所述第一高分辨率清晰化圖像；所述去煙霧與清晰化模塊在訓(xùn)練過程中，獲取包含有待跟蹤目標(biāo)物體的高分辨率清晰的真實(shí)圖像作為第二對(duì)比圖像，并對(duì)所述第一高分辨率清晰化圖像進(jìn)行卷積操作得到預(yù)測(cè)高分辨率圖像通過第二損失函數(shù)計(jì)算所述預(yù)測(cè)高分辨率圖像與所述第二對(duì)比圖像的差異程度；
所述去煙霧與清晰化模塊在訓(xùn)練過程中，引入第二判別器D2，通過所述第一判別器D2判斷所述第二子網(wǎng)絡(luò)G2輸出的圖像是生成的高分辨率清晰圖像，還是真實(shí)的高分辨率清晰圖像，并通過對(duì)抗損失的形式驅(qū)動(dòng)所述第二子網(wǎng)絡(luò)生成更加逼真的圖像。5.根據(jù)權(quán)利要求1所述的復(fù)雜場(chǎng)景下低分辨率圖像中進(jìn)行特定目標(biāo)物體跟蹤的方法，其特征在于，所述通過目標(biāo)物體跟蹤模塊在各所述第二高分辨率清晰化圖像中得到與在所述第一高分辨率清晰化圖像中指定的目標(biāo)物體匹配的目標(biāo)物體的位置坐標(biāo)包括：設(shè)在所述第一高分辨率清晰化圖像中指定的目標(biāo)物體為目標(biāo)物體模板Z，設(shè)當(dāng)前所述第二高分辨率清晰化圖像為待跟蹤圖像X；所述目標(biāo)物體跟蹤模塊使用輕量級(jí)網(wǎng)絡(luò)模型作為主干網(wǎng)提取所述目標(biāo)物體模板Z和待跟蹤圖像X的圖像特征；所述目標(biāo)物體跟蹤模塊使用多尺度特征融合單元融合從所述目標(biāo)物體模板Z和待跟蹤圖像X提取的不同尺度的圖像特征；所述目標(biāo)物體跟蹤模塊使用交叉注意力融合單元通過單分支結(jié)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉通，
申請(qǐng)(專利權(quán))人：劉通，
類型：發(fā)明
國(guó)別省市：