一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法，標(biāo)定人體目標(biāo)上半身即人體頭肩模型位置為標(biāo)定框，這樣減少了人體目標(biāo)被遮擋的概率，減小了漏檢率；同時(shí)，設(shè)定不同的五個(gè)圖像尺度進(jìn)行轉(zhuǎn)換，以及選用{0.8,1.2}兩個(gè)不同比例的寬高比和{48,96,144,192,240}五個(gè)不同比例尺度作為生成anchors的規(guī)則，進(jìn)一步減小了漏檢率。此外，本發(fā)明專利技術(shù)還通過計(jì)算一幅人體目標(biāo)圖像各區(qū)域候選框損失值，并選取損失值最大前B區(qū)域候選框作為難例樣本，其損失值反饋到區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)模型中，使用隨機(jī)梯度下降法更新區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，以提高復(fù)雜場(chǎng)景下的人體目標(biāo)檢測(cè)的準(zhǔn)確率，減少漏檢率和誤檢率。

A method of human target detection based on region total convolutional neural network

The invention discloses a detection method of human target area based on convolutional neural network calibration, human target upper body human head shoulder model position for the calibration frame, thus reducing the probability of human target is blocked, reducing the failure rate; at the same time, set five different scale image conversion, and the selection of {0.8,1.2} two different ratio of width to height ratio and {48,96144192240} five different scale as anchors generation rules, to further reduce the false negative rate. In addition, the invention also through a human target image of the candidate frame loss value, and selects the largest loss value before the B candidate frame as difficult samples, the loss of feedback to the regional convolutional neural network model parameters, using a stochastic gradient descent method to update regional convolution neural network model, in order to improve the accuracy of human target detection under complex scene, reduce the false detection rate and.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法
本專利技術(shù)屬于計(jì)算機(jī)視覺、模式識(shí)別、機(jī)器學(xué)習(xí)等
，更為具體地講，涉及在監(jiān)控場(chǎng)景下一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法。
技術(shù)介紹
近年來，隨著科技的進(jìn)步，各個(gè)行業(yè)開始越來越關(guān)注安全問題。在銀行、機(jī)場(chǎng)、地鐵、車站、小區(qū)等重要區(qū)域以及公共場(chǎng)所，人們都安裝了監(jiān)控?cái)z像頭進(jìn)行視頻監(jiān)控。這些監(jiān)控?cái)z像頭一般都安裝在較高的位置，以俯視的角度進(jìn)行監(jiān)控。而我們所說的監(jiān)控場(chǎng)景即是指在這種情景下拍攝的監(jiān)控畫面。一般情況下，人是監(jiān)控場(chǎng)景的主體，對(duì)人體目標(biāo)的跟蹤和后續(xù)的行為識(shí)別分析嚴(yán)重依賴于人體目標(biāo)檢測(cè)的精度，因此如何在監(jiān)控場(chǎng)景下準(zhǔn)確檢測(cè)人體目標(biāo)已經(jīng)成為學(xué)術(shù)界和工業(yè)界廣泛關(guān)注的熱點(diǎn)之一。早期的研究者一般將人體目標(biāo)檢測(cè)問題分為兩個(gè)步驟來解決，首先是基于手工設(shè)計(jì)的模型進(jìn)行特征提取，然后基于目標(biāo)特征設(shè)計(jì)分類器訓(xùn)練檢測(cè)模型。比如，Viola和Jones將采用haar小波特征，結(jié)合adaboost級(jí)聯(lián)分類器的VJ模型應(yīng)用于人體目標(biāo)檢測(cè)中。具體算法原理參見：ViolaP,JonesMJ,SnowD.Detectingpedestriansusingpatternsofmotionandappearance[C].ComputerVision,2003.Proceedings.NinthIEEEInternationalConferenceon.IEEE,2003:734-741。DalalN與TriggsB提出了一種基于梯度直方圖(HistogramsofOrientedGradients，HOG)特征和支持向量機(jī)(SupportVectorMachine,SVM)框架的人體目標(biāo)檢測(cè)方法，具體算法原理參見：DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C].ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005,1:886-893。這些方法在簡(jiǎn)單監(jiān)控場(chǎng)景下對(duì)人體目標(biāo)檢測(cè)取得了較好的結(jié)果，但是對(duì)于復(fù)雜的監(jiān)控場(chǎng)景下的人體目標(biāo)檢測(cè)結(jié)果還是不能滿足我們的實(shí)際需求。隨著最近幾年深度學(xué)習(xí)的興起，基于深度學(xué)習(xí)的方法在圖像分類領(lǐng)域取得了優(yōu)異的成績(jī)。很多研究者基于此也嘗試將深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域。Ren,Shaoqing提出了一種快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fasterr-cnn)的方法，將人體目標(biāo)檢測(cè)問題分為三個(gè)階段，首先是獲取人體目標(biāo)區(qū)域候選框，然后是使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)特征提取，最后目標(biāo)特征進(jìn)行分類訓(xùn)練得到模型。相較于傳統(tǒng)的人體目標(biāo)檢測(cè)方法，提高了57％的檢測(cè)準(zhǔn)確率。具體算法原理可以參見文獻(xiàn)：Ren,Shaoqing,etal."Fasterr-cnn:Towardsreal-timeobjectdetectionwithregionproposalnetworks."Advancesinneuralinformationprocessingsystems.2015。隨后，JifengDai和YiLi等提出了一種基于區(qū)域全卷積網(wǎng)絡(luò)(R-FCN)的檢測(cè)模型，具體算法原理可以參見文獻(xiàn)[4]:DaiJ,LiY,HeK,etal.R-FCN:ObjectDetectionviaRegion-basedFullyConvolutionalNetworks[J].2016。R-FCN方法使用了一種位置敏感得分圖來處理圖像檢測(cè)中的平移變換性的問題，使得該網(wǎng)絡(luò)可以基于整幅圖片進(jìn)行全卷積計(jì)算，這種方法可以有效的降低網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間和檢測(cè)時(shí)間。同時(shí)該模型使用殘差網(wǎng)絡(luò)(ResNet)作為自己的特征提取模型。在通用的目標(biāo)檢測(cè)平臺(tái)PascalVOC上，相較于Fasterr-cnn,R-FCN不僅提高了目標(biāo)檢測(cè)的準(zhǔn)確率同時(shí)也降低了目標(biāo)檢測(cè)的時(shí)間。雖然R-FCN方法在通用的目標(biāo)檢測(cè)以及人體目標(biāo)檢測(cè)方面取得了較好的檢測(cè)結(jié)果，但也還存在著一些問題，比如當(dāng)人體目標(biāo)之間存在遮擋時(shí)，存在將兩人檢測(cè)為單人的情況，造成漏檢，以及當(dāng)人體目標(biāo)尺度較小時(shí)，存在漏檢等檢測(cè)失敗的情況。此外，對(duì)于一些復(fù)雜的監(jiān)控場(chǎng)景中的人體目標(biāo)，比如：背景復(fù)雜、人體目標(biāo)數(shù)量較多、人體遮擋比較嚴(yán)重這樣的監(jiān)控場(chǎng)景，現(xiàn)有人體目標(biāo)檢測(cè)方法還存在著一定程度的漏檢和誤檢。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法，以進(jìn)一步減少漏檢率和誤檢率，提高檢測(cè)準(zhǔn)確率。為實(shí)現(xiàn)上述專利技術(shù)目的，本專利技術(shù)基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法，其特征在于，包括以下步驟：(1)、采集不同監(jiān)控場(chǎng)景、不同角度的人體目標(biāo)圖像，然后對(duì)于每一張采集的人體目標(biāo)圖像，標(biāo)定人體目標(biāo)上半身的所在位置作為人體目標(biāo)的標(biāo)定框，標(biāo)定了人體目標(biāo)標(biāo)定框的人體目標(biāo)圖像構(gòu)成訓(xùn)練集；人體目標(biāo)圖像不僅包含單一人體目標(biāo)的簡(jiǎn)單場(chǎng)景，也包含一些遮擋較為嚴(yán)重，人員數(shù)量較多的復(fù)雜情景；(2)、設(shè)置五個(gè)不同的圖像尺度，對(duì)于訓(xùn)練集中的每一幅人體目標(biāo)圖像，隨機(jī)選擇一個(gè)圖像尺度，將人體目標(biāo)圖像的短邊縮放到該尺度下之后輸入到殘差網(wǎng)絡(luò)(ResidualNetwork)進(jìn)行卷積運(yùn)算，得到卷積特征；(3)、將卷積特征輸入到區(qū)域候選網(wǎng)絡(luò)(RegionProposalNetwork，簡(jiǎn)稱RPN)，生成區(qū)域候選框；其中，生成區(qū)域候選框時(shí)所需錨(anchors)，選用{0.8,1.2}兩個(gè)不同比例的寬高比和{48,96,144,192,240}五個(gè)不同比例尺度作為生成anchors的規(guī)則；(4)、根據(jù)卷積特征、區(qū)域候選框，計(jì)算位置敏感得分圖，得到區(qū)域候選框?yàn)檎蜻x框的概率Si以及負(fù)候選框的概率Sj；同時(shí)，根據(jù)人體目標(biāo)標(biāo)定框，得到區(qū)域候選框的真實(shí)類別概率S；其中，區(qū)域候選框與真實(shí)的人體目標(biāo)標(biāo)定框的交并比大于等于0.5時(shí)，判定區(qū)域候選框?yàn)檎蜻x框樣本，真實(shí)類別概率S為1；當(dāng)候選框與真實(shí)的人體目標(biāo)標(biāo)定框的交并比小于0.5時(shí)，判定區(qū)域候選框?yàn)樨?fù)候選框樣本，真實(shí)類別概率S為0；(5)、采用區(qū)域候選框的交叉熵?fù)p失值作為區(qū)域候選框的分類損失值Lcls，其具體計(jì)算公式如下：采用區(qū)域候選框的一階平滑損失值作為區(qū)域候選框的回歸損失值Lreg，其具體計(jì)算公式如下：Lreg＝smoothL1(x*-x)+smoothL1(y*-y)+smoothL1(w*-w)+smoothL1(h*-h)(2)，其中，x和y表示區(qū)域候選框的左上位置坐標(biāo)，w和h分別表示區(qū)域候選框的寬和高，x*和y*表示真實(shí)的人體目標(biāo)標(biāo)定框的左上位置坐標(biāo)，w*和h*分別表示真實(shí)的人體目標(biāo)標(biāo)定框的寬和高；其中，一階平滑函數(shù)smoothL1計(jì)算公式下：其中，σ根據(jù)具體監(jiān)控場(chǎng)景確定，一般取3.0，z為公式(2)中括號(hào)內(nèi)的差值；(6)、對(duì)于每一個(gè)區(qū)域候選框，計(jì)算出其損失值，其計(jì)算公式如下：其中，λ是分類損失與回歸損失之間的平衡因子，根據(jù)具體實(shí)施情況確定，通常取值為1；(7)、對(duì)人體目標(biāo)圖像，根據(jù)步驟(4)、(5)，得到每一個(gè)區(qū)域候選框計(jì)算損失值，將區(qū)域候選框損失值進(jìn)行排序，選擇損失值最大的前B個(gè)區(qū)域候選框作為難例樣本，然后將這些難例樣本的損失值，反饋到區(qū)域全卷積神經(jīng)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法，其特征在于，包括以下步驟：(1)、采集不同監(jiān)控場(chǎng)景、不同角度的人體目標(biāo)圖像，然后對(duì)于每一張采集的人體目標(biāo)圖像，標(biāo)定人體目標(biāo)上半身的所在位置作為人體目標(biāo)的標(biāo)定框，標(biāo)定了人體目標(biāo)標(biāo)定框的人體目標(biāo)圖像構(gòu)成訓(xùn)練；人體目標(biāo)圖像不僅包含單一人體目標(biāo)的簡(jiǎn)單場(chǎng)景，也包含一些遮擋較為嚴(yán)重，人員數(shù)量較多的復(fù)雜情景；(2)、設(shè)置五個(gè)不同的圖像尺度，對(duì)于訓(xùn)練集中的每一幅人體目標(biāo)圖像，隨機(jī)選擇一個(gè)圖像尺度，將人體目標(biāo)圖像的短邊縮放到該尺度下之后輸入到殘差網(wǎng)絡(luò)(Residual?Network)進(jìn)行卷積運(yùn)算，得到卷積特征；(3)、將卷積特征輸入到區(qū)域候選網(wǎng)絡(luò)(Region?Proposal?Network，簡(jiǎn)稱RPN)，生成區(qū)域候選框；其中，生成區(qū)域候選框時(shí)所需錨(anchors)，選用{0.8,1.2}兩個(gè)不同比例的寬高比和{48,96,144,192,240}五個(gè)不同比例尺度作為生成anchors的規(guī)則；(4)、根據(jù)卷積特征、區(qū)域候選框，計(jì)算位置敏感得分圖，得到區(qū)域候選框?yàn)檎蜻x框的概率S

【技術(shù)特征摘要】
1.一種基于區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)的人體目標(biāo)檢測(cè)方法，其特征在于，包括以下步驟：(1)、采集不同監(jiān)控場(chǎng)景、不同角度的人體目標(biāo)圖像，然后對(duì)于每一張采集的人體目標(biāo)圖像，標(biāo)定人體目標(biāo)上半身的所在位置作為人體目標(biāo)的標(biāo)定框，標(biāo)定了人體目標(biāo)標(biāo)定框的人體目標(biāo)圖像構(gòu)成訓(xùn)練；人體目標(biāo)圖像不僅包含單一人體目標(biāo)的簡(jiǎn)單場(chǎng)景，也包含一些遮擋較為嚴(yán)重，人員數(shù)量較多的復(fù)雜情景；(2)、設(shè)置五個(gè)不同的圖像尺度，對(duì)于訓(xùn)練集中的每一幅人體目標(biāo)圖像，隨機(jī)選擇一個(gè)圖像尺度，將人體目標(biāo)圖像的短邊縮放到該尺度下之后輸入到殘差網(wǎng)絡(luò)(ResidualNetwork)進(jìn)行卷積運(yùn)算，得到卷積特征；(3)、將卷積特征輸入到區(qū)域候選網(wǎng)絡(luò)(RegionProposalNetwork，簡(jiǎn)稱RPN)，生成區(qū)域候選框；其中，生成區(qū)域候選框時(shí)所需錨(anchors)，選用{0.8,1.2}兩個(gè)不同比例的寬高比和{48,96,144,192,240}五個(gè)不同比例尺度作為生成anchors的規(guī)則；(4)、根據(jù)卷積特征、區(qū)域候選框，計(jì)算位置敏感得分圖，得到區(qū)域候選框?yàn)檎蜻x框的概率Si以及負(fù)候選框的概率Sj；同時(shí)，根據(jù)人體目標(biāo)標(biāo)定框，得到區(qū)域候選框的真實(shí)類別概率S；其中，區(qū)域候選框與真實(shí)的人體目標(biāo)標(biāo)定框的交并比大于等于0.5時(shí)，判定區(qū)域候選框?yàn)檎蜻x框樣本，真實(shí)類別概率S為1；當(dāng)候選框與真實(shí)的人體目標(biāo)標(biāo)定框的交并比小于0.5時(shí)，判定區(qū)域候選框?yàn)樨?fù)候選框樣本，真實(shí)類別概率S為0；(5)、采用區(qū)域候選框的交叉熵?fù)p失值作為區(qū)域候選框的分類損失值Lc...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄒見效，周雪，徐紅兵，劉鵬飛，
申請(qǐng)(專利權(quán))人：電子科技大學(xué)，
類型：發(fā)明
國別省市：四川,51