基于深度卷積神經網絡的車輛違停逆行檢測方法技術

基于深度卷積神經網絡的車輛違停逆行檢測方法，用移動終端檢測點作為道路攝像頭，移動終端檢測點通過攝像頭獲取圖像信息，將深度學習引入路面事件識別并加以改進，以顯著提高道路事件識別準確率。本發明專利技術利用卷積神經網絡對獲取的圖像進行分析，將路面ROI區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別高速公路非法停車、車輛逆向行駛等目標。本發明專利技術應用于路面違停檢測、車輛逆行檢測等非實時性任務，充分利用移動互聯網的特點與優勢，以低成本實現區域高覆蓋率車輛違停和車輛逆行等路面事件檢測。

Vehicle retrograde detection method based on depth convolution neural network

The depth of convolutional neural network illegally parked vehicles retrograde detection method based on mobile terminal detection point as road camera, mobile terminal detection points through the camera to obtain the image information, the deep learning into pavement event recognition and improvement, in order to significantly improve the recognition accuracy of road events. The invention uses a convolutional neural network for image analysis, divides the region into a plurality of ROI pavement construction of road network, road recognition model, through non road grid reverse recognition of highway illegal parking, vehicle reverse driving etc.. The invention is applied to the road illegally parked vehicle retrograde detection, detection of non real-time tasks, make full use of the features and advantages of mobile Internet, to achieve low cost high coverage area of illegally parked vehicles and other road vehicle retrograde event detection.

【技術實現步驟摘要】
基于深度卷積神經網絡的車輛違停逆行檢測方法
本專利技術屬于深度特征的視頻檢測
，涉及路面事件的檢測，基于Deep-CNN路面反向識別模型進行車輛違停或逆行檢測，以及對檢測結果的數據分析與數據挖掘，為一種基于深度卷積神經網絡(Deep-CNN)的車輛違停逆行檢測方法。
技術介紹
道路事故，交通擁堵，環境污染是當今公路交通發展面臨的普遍性難題。道路交通安全狀況令人堪憂，道路信息化與智能交通系統(IntelligentTransportationSystem，ITS)是提升道路設施利用效率，緩解交通堵塞，降低交通事故發生率的有效手段。通過計算機視覺技術實時感知道路車速、流量等交通流參數，提供實時路況，并結合歷史數據對路網通行狀態和出行時間進行預測，以自動視頻分析代替人工監看，從海量視頻中檢測道路異常事件，包括路面遺留物檢測、高速公路違法停檢測等高危事件，對提高公路信息化水平和公眾服務能力都具有非常重要的意義。
技術實現思路
本專利技術要解決的問題是：隨著道路監控視頻數量大幅攀升，僅依靠人工無法實現既有視頻資源有效管理。通過計算機視頻分析自動分析交通監控視頻，提取交通參數，自動發現并主動上報異常事件，可大幅減少交通管理的人力成本，提高管理水平與事件應急響應能力。本專利技術的技術方案為：基于深度卷積神經網絡的車輛違停逆行檢測方法，基于深度卷積神經網絡Deep-CNN網絡模型，Deep-CNN網絡模型將路面感興趣區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別高速公路路面非法停車、逆行等目標，包括以下步驟：Step1：路面模型訓練，采集道路攝像頭的視頻圖像，將視頻窗口中路面的感興趣區域ROI路面網格化分割成多個小塊，標準化后作為Deep-CNN網絡模型的訓練集，訓練時首先采用無監督方法訓練獲取圖像特征，聚類后再設置標簽，人工方式標記路面類型，區分路面與非路面，得到路面—非路面識別模型；Step2：非路面前景模型訓練，將被分為非路面的網格圖片按連通區域組合成候選目標加入訓練庫，再次采用Deep-CNN網絡模型進行訓練，分級訓練路面目標，所述路面目標包括車輛、路面遺留物和行人，得到前景識別模型；Step3：前景目標檢測，在step1及step2的識別模型基礎上，對實時視頻圖像使用Deep-CNN網絡模型和SVM分類器實現前景目標的檢測與分類，先識別路面非路面，再識別出前景目標的類型；Step4：行為分析，在前景目標分類識別基礎上，根據前景目標在視頻圖像序列中的上下文信息，進行道路事件車輛違停逆行檢測識別，設與分別為T0與T0+t時刻的第k個前景候選目標的位置，計算前景候選目標在圖像區域位移的歐氏距離獲取第k個前景候選目標運動狀態與方向，進一步確定目標是否存在停止或逆行狀態。所述的車輛違停或逆行檢測具體為：Step1.1：對實時視頻圖像中的路面設置禁止區域ROI禁，視頻窗口圖像網格化后，根據路面—非路面識別模型進行分類；Step1.2：連通ROI禁區域內非路面網格圖片Ii,j，生成候選目標Ok；Step1.3：對候選目標Ok分類識別，如果為車，則鎖定為車輛目標；Step1.4：計算初始時刻T0與t時刻后T0+t之間車輛目標位移距離與方向，和正常道路車輛方向進行對比；Step1.5：判定車輛違停或逆行行為。進一步的，Step1和Step2具體為：1)設置感興趣區域ROI路面：采集道路或街景監控器的視頻圖像，獲得道路或街景視頻幀圖像，根據實際的道路或街景狀況，在當前幀圖像上提取關注區域的邊界對角4個點，對所提取的點進行直線擬合計算，形成叉形結構，叉形結構內作為檢測的興趣域ROI路面，也就是有效檢測區域；2)非檢測區域漫水填充：非ROI路面為非監測區域，進行漫水填充處理，填充后，落在ROI路面區域外的網格圖片像素均值為0，直接濾除不再進行后續處理；3)檢測區域ROI路面網格化分塊，網格圖片經Deep-CNN分類結果為路面或非路面，將ROI路面的分塊中非路面的網格圖片連起來，記為Ip,q，即路面，Ip,q組成候選目標，送入分類器，分類為車輛、行人或路面遺留物。本專利技術充分利用現有視頻監控設施和海量視頻數據，可最大限度節省硬件投入，獲得更豐富直觀的交通數據，滿足交通管理與公眾服務的數據/信息需求。本專利技術建立了基于Deep-CNN的反向路面識別模型，利用Deep-CNN路面模型解決移動攝像機與圖像目標檢測，應用于車輛違停檢測、逆行檢測等任務。與地感線圈、雷達等傳統技術相比，監控視頻含有路面、車輛、路面遺留物等圖像信息，通過CNN神經網絡提取上述特征并基于Deep-CNN檢測路面車輛違停、逆行等異常事件信息，識別道路事故并及時發送圖文報警，提供比傳統車檢設備更豐富的道路事件信息。本專利技術在監測區域大范圍部署移動終端，形成移動終端檢測點，通過移動通信設備或道路監控進行交互式標定，確定攝像頭參數后，使用攝像頭采集圖像，利用CNN神經網絡對采集的圖像作進一步分析，獲得當前每個圖像的ROI數據，將路面ROI區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別非法停車、逆向行駛等目標。本專利技術移動終端檢測點為道路攝像頭，自身價格低廉，充分利用移動互聯網優勢，不需要昂貴的監測儀器設備，只需道路上現成的攝像頭，可大范圍部署，現場檢測路面信息通過移動互聯網傳輸至服務器。充分利用移動互聯網的特點與優勢，以低成本實現區域高覆蓋率路面事件檢測。附圖說明圖1為本專利技術基于Deep-CNN反向識別路面事件檢測流程圖圖2為本專利技術使用的Deep-CNN模型原理。(a)Softplus與ReLU激活函數(b)Deep-CNN網絡結構。圖3為本專利技術Deep-CNN路面識別模型檢測圖。(a)ROI檢測區域劃分(b)漫水法填充清除非ROI區域像素(c)網格化Deep-CNN輸入及目標檢測。圖4為本專利技術移動終端單幀照片路面檢測訓練圖。(a)手持移動終端照片(b)車道ROI區域路面檢測效果。圖5為本專利技術實施的選取江蘇省寧連高速公路場景進行基于Deep-CNN路面反向識別模型禁區違停、逆行檢測效果圖(a)路面ROI(b)違停檢測(c)逆行檢測(d)逆行檢測。具體實施方式本專利技術將深度學習引入路面事件識別并加以改進，可顯著提高道路事件識別準確度。考慮到車輛為靜態目標，而傳統背景建模方法不適用于靜態目標檢測，以及路面遺留物難以使用先驗模型構造訓練集，使得同樣作為靜態目標的路面遺留物會與違停車輛混淆的情況。本專利技術建立了基于深度卷積神經網絡Deep-CNN的路面反向識別模型，移動終端檢測點為道路攝像頭，移動終端檢測點通過攝像頭獲取圖像信息，利用CNN神經網絡對獲取的圖像進行分析，將路面ROI區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別非法停車和逆向行駛。本專利技術構建了基于Deep-CNN網絡的分層道路事件識別框架：其基本思想是分層識別，通過路面—非路面識別，進而反向識別路面目標物，路面反向識別過程為：首先進行路面模型訓練，將視頻窗口的感興趣區域(RegionofInterest,ROI)網格化分割成多個小塊，標準化后作為Deep-CNN網絡的訓練集，考慮到路面模型由路面瀝青、路面車道、護欄等組成，圖像外觀差異較大，強制標注為單獨一類本文檔來自技高網...

【技術保護點】
基于深度卷積神經網絡的車輛違停逆行檢測方法，其特征是基于深度卷積神經網絡Deep?CNN網絡模型，Deep?CNN網絡模型將路面感興趣區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別非法停車或逆行等目標，包括以下步驟：Step1：路面模型訓練，采集道路攝像頭的視頻圖像，將視頻窗口中路面的感興趣區域ROI

【技術特征摘要】
1.基于深度卷積神經網絡的車輛違停逆行檢測方法，其特征是基于深度卷積神經網絡Deep-CNN網絡模型，Deep-CNN網絡模型將路面感興趣區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別非法停車或逆行等目標，包括以下步驟：Step1：路面模型訓練，采集道路攝像頭的視頻圖像，將視頻窗口中路面的感興趣區域ROI路面網格化分割成多個小塊，標準化后作為Deep-CNN網絡模型的訓練集，訓練時首先采用無監督方法訓練獲取圖像特征，聚類后再設置標簽，人工方式標記路面類型，區分路面與非路面，得到路面—非路面識別模型；Step2：非路面前景模型訓練，將被分為非路面的網格圖片按連通區域組合成候選目標加入訓練庫，再次采用Deep-CNN網絡模型進行訓練，分級訓練路面目標，所述路面目標包括車輛、路面遺留物和行人，得到前景識別模型；Step3：前景目標檢測，在step1及step2的識別模型基礎上，對實時視頻圖像使用Deep-CNN網絡模型和SVM分類器實現前景目標的檢測與分類，先識別路面非路面，再識別出前景目標的類型；Step4：行為分析，在前景目標分類識別基礎上，根據前景目標在視頻圖像序列中的上下文信息，進行道路事件車輛違停逆行檢測識別，設與分別為T0與T0+t時刻的第k個前景候選目標的位置，計算前景候選目標在圖像區域位移的歐氏距離獲取第k個前景候選目標運動狀態與方向，進一步確定目標是否存在停止或逆行狀態。2....

【專利技術屬性】
技術研發人員：阮雅端，高妍，趙博睿，陳金艷，陳啟美，
申請(專利權)人：南京大學，
類型：發明
國別省市：江蘇,32