一種基于機器視覺的城市環境行駛車輛行為識別方法技術

本發明專利技術提供了一種基于機器視覺的城市環境行駛車輛行為識別方法，通過對運動車輛進行目標檢測、目標跟蹤、特征提取、行為識別，得出車輛行為分析的結果。首先使用背景差分法的車輛目標檢測方法完成車輛目標檢測；然后使用光流法對檢測到的車輛目標進行跟蹤；跟蹤完成后，根據車輛運動軌跡的基本行為特征得出車輛的軌跡；最后采用訓練好的SVM分類器對行使軌跡進行識別，從而判斷該行為是左轉彎、右轉彎或者直行。本發明專利技術方法執行速度快，準確率高，可以實現車輛行為準確識別，用于智能交通監控系統的車輛實時監控。

A method for vehicle behavior identification in urban environment based on machine vision

The invention provides a vehicle behavior recognition method based on machine vision of the city environment, through the moving vehicle target detection, target tracking, feature extraction, behavior recognition, vehicle behavior analysis of the results obtained. First, using the background subtraction method of vehicle target detection method for vehicle target detection; vehicle target and then use optical flow method to detect tracking; tracking is completed, according to the basic behavior characteristics of vehicle trajectory that the trajectory of the vehicle; finally the trained SVM classifier to identify the locus of the exercise, so as to judge the behavior is turn left, turn right or straight. The method of the invention has the advantages of fast executing speed and high accuracy, and can realize accurate recognition of vehicle behavior, and is used for vehicle real-time monitoring in intelligent traffic monitoring system.

【技術實現步驟摘要】
一種基于機器視覺的城市環境行駛車輛行為識別方法
本專利技術屬視覺導航
，具體涉及一種基于機器視覺的城市環境行駛車輛行為識別方法。
技術介紹
當前，機器視覺在人工智能領域中發展速度很快，且在理論科學與工程應用方面有著廣泛應用前景，機器視覺系統的研究包括目標檢測、圖像特征提取和行為識別等幾個關鍵問題，并在醫學動態影像、圖像檢索、多媒體信息處理與通信、指紋和人臉識別、圖像處理與預處理、自然界生物種類識別、交通安全等各個研究領域都得到廣泛應用。運動目標檢測既是機器視覺系統中的一個核心技術，又是圖像處理、多媒體信息處理、智能視頻監控等各個領域中不可或缺的部分。在各種繁瑣復雜的場景中存在著各種不同的信息，但是只有部分信息是人們感興趣的即是有效的，把有效信息與復雜背景成功地分割開也就是從背景中只提取人們感興趣的目標，這就是運動目標檢測的基本任務。從檢測結果中可以一目了然地觀察到運動目標的輪廓邊緣、內部信息等基本特征，有利于特征提取、行為識別工作的進行，研究意義重大。運動目標的行為識別則包含了目標的及時檢測與特征提取、行為描述、分析與識別等。在工廠、企業、商場、車站、機場、小區等公共場地安裝監控設備，大都是以運動人體為研究對象，要實現對運動目標進行監控和行為分析，先檢測出目標并根據提取出的行為動作特征來分析目標的走、跑、打架斗毆、集會、偷盜等行為。目前，智能監控技術在目標檢測、特征提取以及行為識別方法的魯棒性方面存在不足，適用范圍受到限制，沒有達到較高的行為識別率，所以，對于運動目標的特征提取與行為識別研究一直是智能安全系統中的熱點問題。道路交通的環境，尤其是交叉路口的交通環境非常復雜，然而大部分機動車交通事故都發生在這，若能夠有效的監控交叉路口等道路，如果車輛的違章行為可以被自動檢測，這樣就可以降低交通道路中事故的發生。
技術實現思路
本專利技術提供一種基于機器視覺的城市環境行駛車輛行為識別方法，通過對運動車輛進行目標檢測、目標跟蹤、特征提取、行為識別，得出車輛行為分析的結果。首先使用背景差分法的車輛目標檢測方法完成車輛目標檢測；然后使用光流法對檢測到的車輛目標進行跟蹤；跟蹤完成后，根據車輛運動軌跡的基本行為特征得出車輛的軌跡；最后采用訓練好的SVM分類器對行使軌跡進行識別，從而判斷該行為是左轉彎、右轉彎或者直行。一種基于機器視覺的城市環境行駛車輛行為識別方法，其特征在于步驟如下：步驟1：車輛目標檢測與跟蹤：利用背景差分法與混合高斯模型建模的方法進行運動車輛目標檢測，然后利用光流的跟蹤算法對檢測出的運動車輛目標進行跟蹤，具體為：步驟a：分別按照和計算一段時間內視頻序列圖像的像素亮度的均值μ0(x,y)及方差以μ0(x,y)和分別為像素均值和方差組成具有高斯分布的圖像B0，B0即為初始的背景估計圖像；其中，N為初始化背景圖像選取時間段內序列圖像的總幀數，150≤N≤200；fi(x,y)為第i幀圖像在第x行、y列的像素亮度值，(x,y)表示圖像中的像素位置為x行、y列；步驟b：分別按照μj(x,y)＝(1-α)·μj-1(x,y)+α·fj(x,y)和更新背景估計圖像的均值μj(x,y)和方差得到更新后的第j幀圖像的背景估計圖像Bj；其中，δ是[0,1]之間的常數，K是混合高斯模型的個數，3≤K≤5；j≥1，fj(x,y)表示第j幀圖像在第x行、y列的像素亮度值；步驟c：按照dj(x,y)＝|fj(x,y)-Bj(x,y)|計算得到當前幀圖像和當前幀背景估計圖像的差分圖像，并按照對差分圖像進行二值化處理，得到檢測出的運動車輛區域，即二值化處理后圖像M中像素值為1的區域，圖像M中像素值為0的區域為背景區域；第j幀圖像中Mj(x,y)＝1表示的運動區域；其中，r為灰度閾值，50≤r≤60；步驟d：對每一幀圖像檢測出的運動車輛區域進行角點特征提取，再應用金字塔Lucas-Kanade稀疏光流算法對所有幀視頻圖像中的角點進行跟蹤，得到運動車輛運動軌跡；步驟2：車輛軌跡特征提取：使用矩陣網格和雙向直方圖相結合的軌跡特征提取方法，構造車輛軌跡特征向量，為車輛行為分類提供特征依據，具體為：步驟a：以步驟1得到的運動車輛軌跡坐標為基準，以軌跡橫坐標為x軸、軌跡縱坐標為y軸構造車輛軌跡坐標系Oxy，分別求出所有點的x軸方向最大值xmax和最小值xmin、y軸方向最大值ymax和最小值ymin，在坐標系Oxy創建寬為高為的矩陣網格，對網格中每一個子網格賦予初始值0；步驟b：對軌跡坐標所在的子網格進行賦值，先沿x軸正方向，再沿y軸正方向，按順序賦予遞增的權重值1、2、3、……，得到軌跡坐標矩陣；步驟c：對軌跡坐標矩陣的行和列分別構造直方圖，使用雙向直方圖估算車輛目標的基本行為趨勢，即依據軌跡坐標矩陣行和列的直方圖整體趨勢走向，如果自左至右遞減，則趨向于右轉彎；如果自左至右遞增，則趨向于左轉彎；如果中間向兩邊遞減，則軌跡線呈直行趨勢，得到運動車輛行為趨勢為左轉彎、右轉彎或直行；其中，直方圖橫坐標表示軌跡坐標矩陣的行數或列數，直方圖的縱坐標統計軌跡坐標矩陣中某一行或列中矩陣元素值不為0的個數；步驟d：由步驟c得到的行為趨勢和步驟b得到的軌跡坐標矩陣構成運動車輛的軌跡特征向量；步驟3：車輛行為訓練：利用SVM兩層分類器結構對車輛軌跡樣本進行行為訓練，得到樣本數據的識別結果，具體為：步驟a：創建軌跡樣本：用圖片生成工具導入預先采集的視頻的模擬背景，并創建包括直行、左轉彎、右轉彎三種類型的軌跡樣本各100張；步驟b：根據步驟2的軌跡特征提取方法對軌跡樣本進行軌跡特征提取，得到各種類型軌跡樣本的軌跡特征向量；步驟c：利用SVM兩層分類器對步驟b得到的樣本的軌跡特征向量進行訓練，得到樣本數據的識別結果；步驟4：車輛行為識別：根據步驟3訓練得到的SVM分類器，對步驟2得到的運動車輛軌跡特征向量進行車輛行為識別，最終得到車輛行為為左轉彎、右轉彎或直行。本專利技術的有益效果是：由于采用背景差分法進行車輛目標檢測和光流法進行車輛跟蹤，方法執行速度快，準確率高；由于采用矩陣網格和雙向直方圖相結合的軌跡特征提取方法，在一定程度上避免了冗余情況，有效的提取并擴充了車輛運動軌跡特征向量，還可以避免產生不可分區域問題。附圖說明圖1是本專利技術的基于機器視覺的城市環境行駛車輛行為識別方法的基本流程圖圖2是本專利技術方法用背景差分法進行車輛目標檢測的結果圖圖3是本專利技術方法提取的車輛運動軌跡示意圖具體實施方式下面結合附圖和實施例對本專利技術進一步說明，本專利技術包括但不僅限于下述實施例。本專利技術提供了一種基于機器視覺的城市環境行駛車輛行為識別方法，其基本流程圖如圖1所示，具體包括以下步驟：步驟1：車輛目標檢測與跟蹤車輛目標檢測是指從視頻序列圖像中分離出車輛目標，車輛目標的檢測結果直接影響后期車輛目標跟蹤、行為特征提取以及行為分類等環節。車輛目標跟蹤是為了獲取車輛目標的運動參數(例如位置、速度等)以及運動軌跡，實現對車輛目標的行為理解。在交通監控視頻中，天氣、車輛目標相互干擾等因素，是影響車輛目標檢測和跟蹤精度的主要原因。針對上述問題，首先，利用背景差分法與混合高斯模型建模的方法進行目標檢測與提取，準確的從視頻圖像中區分出前景圖像和背景模型，提取前景圖像并檢測出車輛目標。然后，利用光流的跟蹤本文檔來自技高網...

【技術保護點】
一種基于機器視覺的城市環境行駛車輛行為識別方法，其特征在于步驟如下：步驟1：車輛目標檢測與跟蹤：利用背景差分法與混合高斯模型建模的方法進行運動車輛目標檢測，然后利用光流的跟蹤算法對檢測出的運動車輛目標進行跟蹤，具體為：步驟a：分別按照

【技術特征摘要】
1.一種基于機器視覺的城市環境行駛車輛行為識別方法，其特征在于步驟如下：步驟1：車輛目標檢測與跟蹤：利用背景差分法與混合高斯模型建模的方法進行運動車輛目標檢測，然后利用光流的跟蹤算法對檢測出的運動車輛目標進行跟蹤，具體為：步驟a：分別按照和計算一段時間內視頻序列圖像的像素亮度的均值μ0(x,y)及方差以μ0(x,y)和分別為像素均值和方差組成具有高斯分布的圖像B0，B0即為初始的背景估計圖像；其中，N為初始化背景圖像選取時間段內序列圖像的總幀數，150≤N≤200；fi(x,y)為第i幀圖像在第x行、y列的像素亮度值，(x,y)表示圖像中的像素位置為x行、y列；步驟b：分別按照μj(x,y)＝(1-α)·μj-1(x,y)+α·fj(x,y)和更新背景估計圖像的均值μj(x,y)和方差得到更新后的第j幀圖像的背景估計圖像Bj；其中，δ是[0,1]之間的常數，K是混合高斯模型的個數，3≤K≤5；j≥1，fj(x,y)表示第j幀圖像在第x行、y列的像素亮度值；步驟c：按照dj(x,y)＝|fj(x,y)-Bj(x,y)|計算得到當前幀圖像和當前幀背景估計圖像的差分圖像，并按照對差分圖像進行二值化處理，得到檢測出的運動車輛區域，即二值化處理后圖像M中像素值為1的區域，圖像M中像素值為0的區域為背景區域；第j幀圖像中Mj(x,y)＝1表示的運動區域；其中，r為灰度閾值，50≤r≤60；步驟d：對每一幀圖像檢測出的運動車輛區域進行角點特征提取，再應用金字塔Lucas-Kanade稀疏光流算法對所有幀視頻圖像中的角點進行跟蹤，得到運動車輛運動軌跡；步驟2：車輛軌跡特征提取：使用矩陣網格和雙向直方圖相結合的軌跡特征提取方法，構造車輛軌跡特征向量，為車輛行為分類提供特征...

【專利技術屬性】
技術研發人員：聶烜，袁占斌，郭洲，杜童童，曹蓓，馬松輝，
申請(專利權)人：西北工業大學，
類型：發明
國別省市：陜西,61