最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法技術(shù)

本發(fā)明專利技術(shù)提供了一種最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，構(gòu)建整體網(wǎng)絡(luò)結(jié)構(gòu)，整體網(wǎng)絡(luò)結(jié)構(gòu)輸入數(shù)據(jù)，進(jìn)行網(wǎng)絡(luò)最優(yōu)搜索，獲得最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)，將測(cè)試集輸入到最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)中，輸出人體姿態(tài)估計(jì)的熱力圖；整體網(wǎng)絡(luò)結(jié)構(gòu)為高低分辨率并行網(wǎng)絡(luò)結(jié)構(gòu)，可以充分提取人體姿態(tài)特征；最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)選取最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的候選模塊、制定搜索方法以及選擇性能評(píng)估策略獲取的，候選模塊之一的CPB模塊是一個(gè)采用可分離卷積和通道參數(shù)削減的模塊，具有網(wǎng)絡(luò)參數(shù)量少、計(jì)算量小的同時(shí)能夠保持較高的準(zhǔn)確率。同時(shí)能夠保持較高的準(zhǔn)確率。同時(shí)能夠保持較高的準(zhǔn)確率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法


[0001]本專利技術(shù)屬于計(jì)算機(jī)視覺(jué)的人體姿態(tài)估計(jì)
，具體涉及一種最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法。

技術(shù)介紹

[0002]隨著計(jì)算機(jī)視覺(jué)和圖像處理的日益發(fā)展，計(jì)算機(jī)視覺(jué)在圖像目標(biāo)分割、分類、檢測(cè)和行為分類等領(lǐng)域大放異彩。人體姿態(tài)估計(jì)是其中重要的研究方向。
[0003]傳統(tǒng)的人體姿態(tài)估計(jì)方法一般是基于圖結(jié)構(gòu)和形變部件模型，設(shè)計(jì)2D人體部件檢測(cè)器，使用圖模型建立各部件的連通性，并結(jié)合人體運(yùn)動(dòng)學(xué)的相關(guān)約束不斷優(yōu)化圖結(jié)構(gòu)模型來(lái)估計(jì)人體姿態(tài)。
[0004]與傳統(tǒng)的機(jī)器視覺(jué)方法相比，深度學(xué)習(xí)可以省略數(shù)據(jù)的預(yù)處理，直接從原始數(shù)據(jù)中學(xué)習(xí)抽象的、本質(zhì)的特征，從而代替人工提取特征。深度學(xué)習(xí)近年來(lái)被廣泛地應(yīng)用于姿態(tài)估計(jì)并取得了很好的精度。但是現(xiàn)有的利用深度學(xué)習(xí)進(jìn)行姿態(tài)估計(jì)的模型的參數(shù)量和計(jì)算量都很龐大，經(jīng)典的姿態(tài)估計(jì)深度學(xué)習(xí)模型通常只考慮如何提高模型的泛化性能，而忽略了顯著的效率問(wèn)題。而在實(shí)際生活應(yīng)用中，需要在有限的計(jì)算環(huán)境下進(jìn)行姿態(tài)實(shí)時(shí)估計(jì)，現(xiàn)有的深度學(xué)習(xí)模型中無(wú)法很好地實(shí)現(xiàn)在有限的計(jì)算環(huán)境下進(jìn)行姿態(tài)實(shí)時(shí)估計(jì)。

技術(shù)實(shí)現(xiàn)思路

[0005]針對(duì)現(xiàn)有技術(shù)中存在不足，本專利技術(shù)提供了一種最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，克服現(xiàn)有深度學(xué)習(xí)模型無(wú)法很好地實(shí)現(xiàn)在有限的計(jì)算環(huán)境下進(jìn)行實(shí)時(shí)姿態(tài)估計(jì)的問(wèn)題。
[0006]本專利技術(shù)是通過(guò)以下技術(shù)手段實(shí)現(xiàn)上述技術(shù)目的的。
[0007]最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，具體為：
[0008]構(gòu)建整體網(wǎng)絡(luò)結(jié)構(gòu)，所述整體網(wǎng)絡(luò)結(jié)構(gòu)包括五個(gè)模塊，每個(gè)模塊包括兩個(gè)子模塊；
[0009]整體網(wǎng)絡(luò)結(jié)構(gòu)輸入數(shù)據(jù)，進(jìn)行網(wǎng)絡(luò)最優(yōu)搜索，獲得最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)；所述最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)選取最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的候選模塊、制定搜索方法以及選擇性能評(píng)估策略獲取的；
[0010]將測(cè)試集輸入到最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)中，輸出人體姿態(tài)估計(jì)的熱力圖；
[0011]所述候選模塊為CPB模塊或MobileNet或ShuffleNet或Xception，所述CPB模塊為一個(gè)采用可分離卷積和通道參數(shù)削減的模塊。
[0012]進(jìn)一步地，所述CPB模塊為：將輸入的特征圖先通過(guò)1
×
1卷積進(jìn)行通道縮減，接下來(lái)通過(guò)BN層和ReLU激活函數(shù)，接著采用3
×
3的深度可分離卷積，再使用1
×
1卷積，然后再通過(guò)BN層和ReLU激活函數(shù)，最后進(jìn)行通道參數(shù)削減和融合。
[0013]進(jìn)一步地，所述通道參數(shù)削減和融合具體為：輸入的特征圖輸入短鏈接，通過(guò)1
×
1卷積削減α倍，最后將通道參數(shù)削減與短鏈接通道通過(guò)add操作融合。
[0014]更進(jìn)一步地，在通道參數(shù)削減過(guò)程中，首先通過(guò)全局平均池化，獲取全局通道特
征，再通過(guò)兩個(gè)全連接層，接著通過(guò)Sigmoid激活函數(shù)得到一個(gè)通道權(quán)重，然后進(jìn)行Scale操作，Scale操作后的特征圖再通過(guò)1x1卷積。
[0015]更進(jìn)一步地，在Scale操作時(shí)，設(shè)置一個(gè)閾值γ，當(dāng)通道權(quán)重小于閾值γ時(shí)，把通道權(quán)重設(shè)為零，若通道權(quán)重大于等于閾值γ時(shí)，通道權(quán)重保持Sigmoid激活函數(shù)得到的數(shù)值。
[0016]進(jìn)一步地，所述五個(gè)模塊包括模塊1、模塊2、模塊3、模塊4和模塊5，模塊1包括子模塊11和子模塊12，模塊2包括子模塊21和子模塊22，模塊3包括子模塊31和子模塊32，模塊4包括子模塊41和子模塊42，模塊5包括子模塊51和子模塊52；子模塊11、子模塊21、子模塊31、子模塊41和子模塊51依次進(jìn)行卷積操作；輸入、子模塊11、子模塊21、子模塊31、子模塊41、子模塊12和子模塊22，均通過(guò)下采樣，將分辨率降低為1/2且通道數(shù)變?yōu)樯弦荒K輸出通道數(shù)的兩倍，子模塊12、子模塊22、子模塊32、子模塊42和子模塊52，均通過(guò)上采樣，提升分辨率，且保持通道數(shù)不變。
[0017]進(jìn)一步地，所述選擇性能評(píng)估策略是在損失函數(shù)上添加耗時(shí)的項(xiàng)，所述損失函數(shù)為：
[0018][0019]其中：W是每個(gè)候選模塊的參數(shù)，Q是每個(gè)候選模塊的權(quán)重，x
i
是輸入圖片，y
i
是第i張圖片的標(biāo)簽，p(x
i
，W，Q)是網(wǎng)絡(luò)對(duì)x
i
的預(yù)測(cè)，λ是常數(shù)，且t
j
為第j個(gè)候選模塊在嵌入式設(shè)備上的耗時(shí)。
[0020]更進(jìn)一步地，所述最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)獲取過(guò)程中，利用訓(xùn)練集訓(xùn)練整體網(wǎng)絡(luò)結(jié)構(gòu)，梯度下降過(guò)程中，通過(guò)反向傳播，更新?lián)p失函數(shù)中的權(quán)重Q，每個(gè)子模塊保留權(quán)重最大的候選模塊，把保留的候選模塊連接起來(lái)，最終可以搜索到最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)。
[0021]本專利技術(shù)的有益效果為：
[0022](1)本專利技術(shù)的整體網(wǎng)絡(luò)結(jié)構(gòu)包括五個(gè)模塊，每個(gè)模塊包括兩個(gè)子模塊；本專利技術(shù)的整體網(wǎng)絡(luò)結(jié)構(gòu)為高低分辨率并行網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于位置敏感的人體姿態(tài)估計(jì)具有較大優(yōu)勢(shì)，并在整個(gè)過(guò)程中高低分辨率反復(fù)進(jìn)行多尺度融合，可以充分提取人體姿態(tài)特征，對(duì)于遮擋等情況也可以有效解決，對(duì)網(wǎng)絡(luò)的準(zhǔn)確率有很大的提升。
[0023](2)本專利技術(shù)最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)選取最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的候選模塊獲取的，且候選模塊之一的CPB模塊是一個(gè)采用可分離卷積和通道參數(shù)削減的模塊，具有網(wǎng)絡(luò)參數(shù)量少、計(jì)算量小的同時(shí)保持較高的準(zhǔn)確率。
附圖說(shuō)明
[0024]圖1為本專利技術(shù)所述最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化姿態(tài)估計(jì)流程圖；
[0025]圖2為本專利技術(shù)所述整體網(wǎng)絡(luò)結(jié)構(gòu)示意圖；
[0026]圖3為本專利技術(shù)所述整體網(wǎng)絡(luò)模型示意圖；
[0027]圖4為本專利技術(shù)所述CPB模塊結(jié)構(gòu)示意圖；
[0028]圖5為本專利技術(shù)所述通道削減模塊結(jié)構(gòu)示意圖；
[0029]圖6為利用本專利技術(shù)輕量化姿態(tài)估計(jì)方法得到的人體姿態(tài)估計(jì)熱力圖。
具體實(shí)施方式
[0030]下面結(jié)合附圖以及具體實(shí)施例對(duì)本專利技術(shù)作進(jìn)一步的說(shuō)明，但本專利技術(shù)的保護(hù)范圍并不限于此。
[0031]如圖1所示，本專利技術(shù)一種最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化姿態(tài)估計(jì)方法，具體包括如下步驟：
[0032]步驟(1)，獲取人體姿態(tài)估計(jì)數(shù)據(jù)集
[0033]本實(shí)例所使用的人體姿態(tài)估計(jì)數(shù)據(jù)集為MPII，MPII人體姿勢(shì)估計(jì)數(shù)據(jù)集是用于評(píng)估人體關(guān)節(jié)姿勢(shì)估計(jì)的最先進(jìn)基準(zhǔn)。該數(shù)據(jù)集包括大約25000張圖像，每張圖像提供了一個(gè)活動(dòng)標(biāo)簽，數(shù)據(jù)集包含超過(guò)40000個(gè)帶有注釋身體關(guān)節(jié)的人，數(shù)據(jù)集涵蓋了410項(xiàng)人類活動(dòng)；每張圖像都是從YouTube視頻中提取的。
[0034]步驟(2)，數(shù)據(jù)預(yù)處理
[0035]將人體姿態(tài)估計(jì)數(shù)據(jù)集均分為三份，任選其中兩份作為訓(xùn)練集，另外一份作為測(cè)試集，測(cè)試集相對(duì)于訓(xùn)練集，增加了身體部位遮擋、3D軀干和頭部方向的注釋；將訓(xùn)練集和測(cè)試集中的每張圖片大小縮放到512
×
512；訓(xùn)練集在訓(xùn)練時(shí)執(zhí)行三重交叉驗(yàn)證。
[0036]步驟(3)，構(gòu)建整體網(wǎng)絡(luò)結(jié)構(gòu)
[0037]利用Simp本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，其特征在于：構(gòu)建整體網(wǎng)絡(luò)結(jié)構(gòu)，所述整體網(wǎng)絡(luò)結(jié)構(gòu)包括五個(gè)模塊，每個(gè)模塊包括兩個(gè)子模塊；整體網(wǎng)絡(luò)結(jié)構(gòu)輸入數(shù)據(jù)，進(jìn)行網(wǎng)絡(luò)最優(yōu)搜索，獲得最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)；所述最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)選取最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的候選模塊、制定搜索方法以及選擇性能評(píng)估策略獲取的；將測(cè)試集輸入到最優(yōu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu)中，輸出人體姿態(tài)估計(jì)的熱力圖；所述候選模塊為CPB模塊或MobileNet或ShuffleNet或Xception，所述CPB模塊為一個(gè)采用可分離卷積和通道參數(shù)削減的模塊。2.根據(jù)權(quán)利要求1所述的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，其特征在于，所述CPB模塊為：將輸入的特征圖先通過(guò)1
×
1卷積進(jìn)行通道縮減，接下來(lái)通過(guò)BN層和ReLU激活函數(shù)，接著采用3
×
3的深度可分離卷積，再使用1
×
1卷積，然后再通過(guò)BN層和ReLU激活函數(shù)，最后進(jìn)行通道參數(shù)削減和融合。3.根據(jù)權(quán)利要求2所述的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，其特征在于，所述通道參數(shù)削減和融合具體為：輸入的特征圖輸入短鏈接，通過(guò)1
×
1卷積削減α倍，最后將通道參數(shù)削減與短鏈接通道通過(guò)add操作融合。4.根據(jù)權(quán)利要求3所述的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，其特征在于，在通道參數(shù)削減過(guò)程中，首先通過(guò)全局平均池化，獲取全局通道特征，再通過(guò)兩個(gè)全連接層，接著通過(guò)Sigmoid激活函數(shù)得到一個(gè)通道權(quán)重，然后進(jìn)行Scale操作，Scale操作后的特征圖再通過(guò)1x1卷積。5.根據(jù)權(quán)利要求4所述的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)化的輕量化人體姿態(tài)估計(jì)方法，其特征在于，在Scale操作時(shí)，設(shè)置一個(gè)閾值γ，當(dāng)通道權(quán)重小于閾值γ時(shí)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李安康，宋余慶，劉哲，劉毅，
申請(qǐng)(專利權(quán))人：江蘇大學(xué)，
類型：發(fā)明
國(guó)別省市：