一種基于深度學習的實時人臉檢測方法及系統技術方案

本發明專利技術公開了一種基于深度學習的實時人臉檢測方法及系統，該方法包括以下步驟：構建的人臉圖像數據庫和卷積神經網絡，利用構建的數據庫對神經網絡進行訓練，得到最優的卷積神經網絡以及人臉數據庫中的人臉特征；構建storm拓撲結構；數據源輸入組件將實時視頻流分發給各數據處理組件，數據處理組件通過卷積神經網絡對人臉和非人臉進行分類、人臉邊界框回歸、坐標定位，得到人臉檢測的結果。本發明專利技術通過優化后的卷積神經網絡對人臉圖像數據進行特征提取，有效地提高了特征提取的準確率，將Storm架構和卷積神經網絡的特征提取相結合，提高了人臉檢測的效率。

Method and system for real time face detection based on depth learning

The invention discloses a real-time face detection based on deep learning method and system, the method comprises the following steps: constructing the face image database and convolutional neural network, the neural network was trained using the database, get the face feature of convolutional neural network and optimal face database in the construction of storm topological structure; data; the source of the input components will be real-time video streaming to the data processing module, data processing module through the convolution neural network for face and non face to face classification, regression, bounding box coordinates, get the results of face detection. The present invention by convolution neural network optimized for face image feature extraction of data, effectively improves the accuracy of feature extraction, feature extraction and structure of Storm convolutional neural network combination, improve the efficiency of face detection.

【技術實現步驟摘要】
一種基于深度學習的實時人臉檢測方法及系統
本專利技術涉及一種基于深度學習的實時人臉檢測方法及系統。
技術介紹
深度學習是目前機器學習發展的最高度，卷積神經網絡作為深度學習中的一種方法，在物體識別、圖像處理等領域有著較高的效果。對于人臉特征提取，卷積神經網絡有著可以自動學習圖像特征的優勢，減少人工干預，提取出高質量的特征，從而為提高人臉檢測的準確率打下了堅實的基礎。由于深度學習的方法可能消耗大量的GPU資源，計算量過大可能達不到實際應用場景中實時的效果，為了解決大數據實時處理問題，分布式實時處理框架Storm應運而生，Storm有許多應用領域，包括實時分析、在線機器學習、信息流處理、連續性的計算、分布式RPC和ETL等。隨著社會的發展，信息化程度的不斷提高，人們對身份鑒別的準確性、安全性和實用性提出了更高的要求，人臉檢測是人臉識別和重構問題中最基本的任務,同樣也是人臉識別問題中的一個關鍵環節,其結果直接關乎到人臉識別最終的效果。若能對其進行精準的檢測定位，不僅能提高視頻監控工作人員的工作效率，對視頻的檢索、維護公共安全秩序具有重要意義。有鑒于此，急需解決視頻監中人臉檢測準確率較低和速率較低的問題。
技術實現思路
本專利技術所要解決的技術問題是如何將卷積神經網絡應用于人臉檢測技術中，并達到實時人臉檢測的效果的問題，本專利技術提供了一種基于深度學習的實時人臉檢測方法及系統。為了解決上述技術問題，本專利技術所采用的技術方案是：一種基于深度學習的實時人臉檢測方法，包括以下步驟：步驟S10：構建人臉數據庫，并設計用于人臉檢測的卷積神經網絡；步驟S20：利用人臉數據庫對卷積神經網絡進行訓練，得到最優卷積神經網絡，利用最優的卷積神經對人臉數據庫的人臉數據進行特征提取，取得人臉特征；步驟S30：構建Storm的拓撲結構，所述Storm的拓撲結構包括若干個數據源輸入組件spout；每個數據源輸入組件spout分別與若干個數據處理組件bolt連接；在以數據源輸入組件spout為父節點的數據處理組件bolt上分別布置訓練好的最優卷積神經網絡，且所有數據處理組件bolt具有相同的子節點；所述相同的字節點用于將檢測到的人臉區域坐標在檢測圖像上進行標注和返回檢測結果；步驟S40：數據源輸入組件spout將采集的待檢測的人臉圖像實時視頻流分發給各個數據處理組件bolt，每個數據處理組件bolt通過預先布置的最優卷積神經網絡進行人臉部位識別、通過分類器對識別的結果進行人臉/非人臉分類、將人臉部位通過最優卷積神經網絡進行邊界框回歸并得出人臉部位在原圖中的坐標，返回人臉坐標結果。所述步驟S40：采用一種基于GPU的資源調度算法：在Storm集群上，通過檢測集群中GPU的資源使用情況實時調度任務資源。用基于GPU的資源調度算法實時監控各個數據處理組件bolt的GPU使用狀況，將GPU消耗大的進程分配到有強GPU的數據處理組件bolt上。所述人臉數據庫包括多種角度的人臉信息，每種角度的人臉信息包括多張圖片。所述步驟S20包括以下步驟：將人臉數據庫中的信息作為卷積神經網絡的輸入數據源，使用設定的卷積神經網絡默認參數進行卷積神經網絡訓練；所述默認參數包括初始權值、訓練速率和迭代次數；根據訓練中間結果，對默認參數進行不斷調整，直到得到最優卷積神經網絡網絡參數，進而得到最優卷積神經網絡；所述步驟S10中，用于人臉檢測的卷積神經網絡自上而下包括三個網絡結構：第一個網絡結構，包括三層卷積層：第一卷積層：InputSize12×12×3，卷積核：3×3、第二卷積層：InputSize5×5×10，卷積核：3×3和第三卷積層：InputSize3×3×16，卷積核：3×3，第一個網絡結構用于人臉/非人臉區域判斷并獲得人臉區域的候選窗口、對人臉區域進行邊界框回歸并得到回歸向量；第二個網絡結構，包括三個卷積層和第一全連接層，自上而下依次是：第四卷積層：InputSize24×24×3，卷積核：3×3、第五卷積層：InputSize11×11×28，卷積核：3×3、第六卷積層：InputSize4×4×48，卷積核：2×2、第一全連接層：OutSize128，第二個網絡結構用于對第一個網絡構獲取的邊界框再次進行判斷人臉和非人臉區域，抑制非人臉區域并進行邊界框再回歸；第三個網絡結構，包括四個卷積層和第二全連接層，自上而下依次是：第七卷積層：InputSize48×48×3，卷積核：3×3、第八卷積層：InputSize23×23×32，卷積核：3×3、第九卷積層：InputSize10×10×64，卷積核：3×3、第十卷積層：InputSize4×4×64，卷積核：2×2、第二全連接層：OutSize256；第三個網絡結構用于對從第二個網絡結構的獲取的邊界框進行進一步的邊界框人臉/非人臉區域判別，抑制非人臉區域并進行邊界框再回歸，得出邊界框的回歸向量坐標即為人臉區域的坐標。所述步驟40中，數據源輸入組件spout將采集來自流媒體服務器的實時視頻流解碼為多個幀圖像，再將每一幀圖像分發給不同數據處理組件bolt；每個數據處理組件bolt將視頻流解碼成幀圖像，使用訓練好的最優卷積神經網絡對每一幀圖像進行人臉檢測，獲取人臉區域坐標。一種基于深度學習的實時人臉檢測系統，包括：人臉數據庫和卷積神經網絡建立模塊：構建人臉數據庫，并設計用于人臉檢測的卷積神經網絡；訓練模塊：利用人臉數據庫對卷積神經網絡進行訓練，得到最優卷積神經網絡，利用最優的卷積神經對人臉數據庫的人臉數據進行特征提取，取得人臉特征；Storm的拓撲結構構建模塊：構建Storm的拓撲結構，所述Storm的拓撲結構包括若干個數據源輸入組件spout；每個數據源輸入組件spout分別與若干個數據處理組件bolt連接；在以數據源輸入組件spout為父節點的數據處理組件bolt上分別布置訓練好的最優卷積神經網絡，且所有數據處理組件bolt具有相同的子節點；所述相同的字節點用于將檢測到的人臉區域坐標在檢測圖像上進行標注和返回檢測結果；人臉檢測模塊：數據源輸入組件spout將采集的待檢測的人臉圖像實時視頻流分發給各個數據處理組件bolt，每個數據處理組件bolt通過預先布置的最優卷積神經網絡進行人臉部位識別、通過分類器對識別的結果進行人臉/非人臉分類、將人臉部位通過最優卷積神經網絡進行邊界框回歸并得出人臉部位在原圖中的坐標，返回人臉坐標結果。本專利技術將基于卷積神經網絡的人臉檢測技術、和Storm實時處理平臺相結合，實現基于卷積神經網絡的實時人臉檢測，具有以下有益效果：(1)通過卷積神經網絡進行特征提取、邊界框回歸，坐標定位，有效地提高了檢測的準確率和檢測效率；(2)利用Storm并行化人臉檢測，達到實時檢測的目的，有效的提高了檢測的效率。附圖說明圖1為本專利技術提供的一種基于卷積神經網絡的實時人臉檢測方法的流程圖；圖2(a)、圖2(b)和圖2(c)為本專利技術中卷積神經網絡的網絡結構；圖3為本專利技術中分布式實時處理框架Storm的拓撲結構圖。具體實施方式下面結合附圖與實施例對本專利技術作進一步說明。本專利技術充分利用卷積神經網絡學習圖像特征的優勢以及目前實時云計算技術的特點，將卷積神經網絡與實時云計算技術結合，把卷積神經網絡應用于人臉特征的檢測，減少人工本文檔來自技高網...

【技術保護點】
一種基于深度學習的實時人臉檢測方法，其特征是，包括以下步驟：步驟S10：構建人臉數據庫，并設計用于人臉檢測的卷積神經網絡；步驟S20：利用人臉數據庫對卷積神經網絡進行訓練，得到最優卷積神經網絡，利用最優的卷積神經對人臉數據庫的人臉數據進行特征提取，取得人臉特征；步驟S30：構建Storm的拓撲結構，所述Storm的拓撲結構包括若干個數據源輸入組件spout；每個數據源輸入組件spout分別與若干個數據處理組件bolt連接；在以數據源輸入組件spout為父節點的數據處理組件bolt上分別布置訓練好的最優卷積神經網絡，且所有數據處理組件bolt具有相同的子節點；所述相同的字節點用于將檢測到的人臉區域坐標在檢測圖像上進行標注和返回檢測結果；步驟S40：數據源輸入組件spout將采集的待檢測的人臉圖像實時視頻流分發給各個數據處理組件bolt，每個數據處理組件bolt通過預先布置的最優卷積神經網絡進行人臉部位識別、通過分類器對識別的結果進行人臉/非人臉分類、將人臉部位通過最優卷積神經網絡進行邊界框回歸并得出人臉部位在原圖中的坐標，返回人臉坐標結果。

【技術特征摘要】
1.一種基于深度學習的實時人臉檢測方法，其特征是，包括以下步驟：步驟S10：構建人臉數據庫，并設計用于人臉檢測的卷積神經網絡；步驟S20：利用人臉數據庫對卷積神經網絡進行訓練，得到最優卷積神經網絡，利用最優的卷積神經對人臉數據庫的人臉數據進行特征提取，取得人臉特征；步驟S30：構建Storm的拓撲結構，所述Storm的拓撲結構包括若干個數據源輸入組件spout；每個數據源輸入組件spout分別與若干個數據處理組件bolt連接；在以數據源輸入組件spout為父節點的數據處理組件bolt上分別布置訓練好的最優卷積神經網絡，且所有數據處理組件bolt具有相同的子節點；所述相同的字節點用于將檢測到的人臉區域坐標在檢測圖像上進行標注和返回檢測結果；步驟S40：數據源輸入組件spout將采集的待檢測的人臉圖像實時視頻流分發給各個數據處理組件bolt，每個數據處理組件bolt通過預先布置的最優卷積神經網絡進行人臉部位識別、通過分類器對識別的結果進行人臉/非人臉分類、將人臉部位通過最優卷積神經網絡進行邊界框回歸并得出人臉部位在原圖中的坐標，返回人臉坐標結果。2.如權利要求1所述的一種基于深度學習的實時人臉檢測方法，其特征是，所述步驟S40：采用一種基于GPU的資源調度算法：在Storm集群上，通過檢測集群中GPU的資源使用情況實時調度任務資源。用基于GPU的資源調度算法實時監控各個數據處理組件bolt的GPU使用狀況，將GPU消耗大的進程分配到有強GPU的數據處理組件bolt上。3.如權利要求1所述的一種基于深度學習的實時人臉檢測方法，其特征是，所述人臉數據庫包括多種角度的人臉信息，每種角度的人臉信息包括多張圖片。4.如權利要求1所述的一種基于深度學習的實時人臉檢測方法，其特征是，所述步驟S20包括以下步驟：將人臉數據庫中的信息作為卷積神經網絡的輸入數據源，使用設定的卷積神經網絡默認參數進行卷積神經網絡訓練；所述默認參數包括初始權值、訓練速率和迭代次數；根據訓練中間結果，對默認參數進行不斷調整，直到得到最優卷積神經網絡網絡參數，進而得到最優卷積神經網絡。5.如權利要求1所述的一種基于深度學習的實時人臉檢測方法，其特征是，所述步驟S10中，用于人臉檢測的卷積神經網絡自上而下包括三個網絡結構：第一個網絡結構，包括三層卷積層：第一卷積層：InputSize12×12×3，卷積核：3×3、第二卷積層：InputSize5×5×10，卷積核：3×3和第三卷積層：InputSize3×3×16，卷積核：3×3，第一個網絡結構用于人臉/非人臉區域判斷并獲得人臉區域的候選窗口、對人臉區域進行邊界框回歸并得到回歸向量...

【專利技術屬性】
技術研發人員：張衛山，孫浩云，宮文娟，盧清華，李忠偉，
申請(專利權)人：中國石油大學華東，
類型：發明
國別省市：山東,37