基于時空關聯的地面交通標志實時檢測識別方法技術

基于時空關聯的地面交通標志實時檢測識別方法屬于交通信息檢測領域。本發明專利技術以20-50幀/秒的幀率實時獲取智能車輛前方道路的圖像Src，結合空間關聯信息，對獲取的原始圖像Src進行切割、灰度變換、高斯濾波、二值化處理、透視變換，得到透視圖像Src_IP。通過面積過濾、長寬比過濾得到待檢測的標志圖案diff_j。同時，讀入處理過的地面交通標志圖像temp_i。通過圖像匹配，計算diff_j與每一幅標準圖像temp_i之間的相似度，找到一組最相似的圖片。將temp_i與相對應diff_j的進行相減，統計新圖像中的白色像素點個數Sum_i_r，Sum_i_r少于設定的閾值時，即認為存在對應的標準圖像中的地面交通標志。結合時空關聯信息，對于識別結果進行邏輯判斷，提升準確率。本發明專利技術適用于復雜城市道路環境的智能駕駛。

【技術實現步驟摘要】

本專利技術是一種基于智能駕駛的地面交通標志實時檢測的方法，屬于智能交通行業的交通信息檢測領域。
技術介紹
自第一輛汽車面世以來，汽車的研究始終處于一個高速、向上的狀態；隨著科技水平的提升，對于汽車的研究已經由簡單的機械領域擴展到集圖像、通信、自動化等眾多學科的領域。隨著社會經濟的發展，汽車保有量逐年增加，各種問題隨之而來，智能駕駛系統應運而生。無人駕駛機車的研制，是智能駕駛系統的新的關鍵點所在。對地面交通標志的識另O，是智能駕駛中的一個重要領域。準確率和識別速率是該項研究的重點。通過判斷車輛行駛的車道中，是否含有地面交通標志，以及地面交通標志的種類和類型，給予駕駛員和智能系統準確的指引信息，是地面交通標志識別的關鍵所在。通過對地面交通標志的準確識另IJ，減少因失誤造成的事故數量，提高道路交通的安全系數。地面交通標志的識別，首先需要從攝像頭采集的視頻圖像中，將地面與天空區分開；其次，要準確選擇本車行駛的車道；第三，通過時空關聯將地面交通標志存在的區域篩選出來。目前，對于地面交通標志識別的研究，集中于通過逆透視變換結合Hu不變矩，對地面交通標志進行檢測識別。該方法有一定的準確率，但是通過提取Hu不變矩，來進行判斷地面交通標志的種類會產生誤差。尤其是在地面交通標志有一定的污損或者是在強光照射等條件下，不能得出準確的結果。所以，需要結合時空關聯信息進行識別判斷。
技術實現思路
本專利技術的目的在于無人駕駛機車行駛過程中，通過車載攝像頭，采集地面圖像，實時處理圖像，判斷其中是否含有地面交通標志，并判斷其中的標志種類及其信息，從而給予正確的引導信息；克服現有方法存在抗干擾性弱、檢測率低、檢測速度慢、成本高以及耗能大等缺點，提出了一種。為了實現上述目的，本專利技術采取了如下技術方案:一、攝像機安裝。本專利技術中將攝像頭安置在汽車中央后視鏡處。二、圖像預處理。通過車輛上的攝像機，以20-50幀/秒的幀率實時獲取智能車輛前方道路的圖像Src。結合先驗知識與空間關聯信息，得出當前車道的地面交通標志出現的區域范圍。對獲取的原始圖像Src進行剪切，得到感興趣區域Src_r0i ;對感興趣區域進行灰度變化，得到新的圖像SrC_gray，進行圖像壓縮，得到新的圖像Src_gS ;圖像二值化處理，得到新的圖像Src_bw ;通過形態學處理、中值濾波和逆透視變換得到Src_IP。三、設定地面交通標志模板。我國現階段，城市公路、高速公路使用的地面交通標志主要包括如下六種:直行箭頭、左轉箭頭、右轉箭頭、直行加左轉箭頭、直行加右轉箭頭、掉轉箭頭。本專利技術主要研究識別以上六種地面交通標志。根據《道路交通標志和標線》(GB_5768-1999)規定，行車速度< 40km/h、60km/h~80km/h和≤100km/h不同路段地面交通標志大小尺寸不一致，等比例縮放。本專利技術可用于檢測識別不同行車速度的路段。通過攝像機采集地面圖片，通過圖像預處理，對含有完整地面交通標志的圖片Src_IP進行剪切，從而獲得地面交通標志圖像 templ_i。templ_i 是一個 templ_i_widthX templ_i_height維圖像矩陣。要求模板圖像只含有地面交通標志，每一種地面交通標志對應一種模板，共得到六種地面交通標志模板。四、圖像匹配。通過邊緣算子檢測，對圖像Src_IP進行邊緣提取；在邊緣提取的基礎上，獲得圖像輪廓；對圖像的輪廓，做外接矩形。通過面積過濾、長寬比過濾等方式，可以得到完整的地面交通標志的輪廓，進行輪廓填充。此時我們得到的是地面交通標志的圖案，將該圖案截取下來。與預先設定的模板進行匹配。通過計算圖像之間的相似度，選取最相似的圖像組。計算最相似的待檢測圖像和模板圖像之間的相似度，若相似度數值在設定閾值范圍以內，則認為此時圖像中含有對應的地面交通標志，否則，認為不含有對應的地面交通標志。五、時空關聯增強識別準確率。本專利技術中，我們提出通過時空關聯的信息來增強識別魯棒性。智能車輛行駛過程中采集到的是完整的視頻；對于同一個地面交通標志，多次檢測結果，中間的某一次出現錯誤的時候，自動濾除錯誤的識別結果；車輛位于同一車道上，同一地面交通標志出現次數大于等于三次；多車道的情況下，調轉箭頭、左轉、右轉、左轉直行箭頭、右轉直行箭頭不會出現在中間車道。與現有的檢測方法相比，本專利技術具有如下優點:(1)該專利技術是應用于無人駕駛車之上，實時性較好，每幀的處理時間在40ms左右，有較強的實用價值。(2)本專利技術能夠識別不同的地面交通標志。(3)本專利技術基于現有的圖像匹配技術實現檢測識別，提高了準確率，在實驗場地的情況下，準確率能達到95%以上。【附圖說明】圖1本專利技術的地面交通標志檢測流程圖；圖2直行模板；圖3右轉模板；圖4左轉模板；圖5右轉加直行模板；圖6左轉加直行模板；圖7掉轉模板；圖8本專利技術檢測實例所用到的一幅原始圖像；圖9對圖8進行壓縮、剪切得到的感興趣區域；[0021 ]圖10對圖9進行灰度變換得到的圖像；圖11對圖10進行二值變換、形態學處理、濾波得到的圖像；圖12對圖11進行逆透視變換得到圖像；圖13對圖12進行邊緣檢測、輪廓提取；圖14對圖13中的輪廓做外接矩形；圖15對圖14進行面積過濾、寬高比過濾所得圖像；圖16將圖15中剩余部分截取得到新的圖像；圖17圖16與準備的模板進行圖像匹配、圖像相減進行判斷；【具體實施方式】下面結合附圖和【具體實施方式】對本專利技術的技術方案作進一步詳細的說明。一、攝像機安裝。本專利技術中將攝像頭安置在汽車中央后視鏡處，攝像機距離地面1-1.2 米。二、通過車輛上的攝像機，以20-50幀/秒的幀率實時獲取智能車輛前方道路的圖像Src。結合先驗知識與空間關聯信息，我們可以得出當前車道的地面交通標志出現的區域范圍。對獲取的原始圖像Src進行剪切，將圖像上部2/3裁剪，取余下的1/3，得到新的圖像Src_height ;繼續對圖像Src_height裁剪,從圖像的左側到右側，圖像左側為O寬度，圖像右側為I寬度，從0.4寬度部分開始裁剪，到0.9寬度截止，得到感興趣區域Src_roi ;對感興趣區域進行灰度變化，計算R，G, B通道值的平均值，作為灰度圖像的灰度值Gray，B, G, R代表圖像的三通道顏色值，得到新的圖像Src_r0i ；本文檔來自技高網...

【技術保護點】
一種基于時空關聯的地面交通標志實時檢測識別的方法，其特征在于，包括以下步驟：1)將攝像機置于車內中央后視鏡處，位置固定，距離地面1?1.2米。2)通過車輛上固定的攝像機，以20?50幀/秒的幀率實時獲取智能車輛前方道路的圖像Src，結合先驗知識與空間關聯信息，得出當前車道的地面交通標志出現的區域范圍。對獲取的原始圖像Src進行剪切，得到感興趣區域Src_roi；對感興趣區域進行灰度變化，得到新的圖像Src_gray，進行圖像壓縮，得到新的圖像Src_gs；圖像二值化處理，得到新的圖像Src_bw；通過形態學處理、中值濾波和逆透視變換得到Src_IP；3)標準地面交通標志圖案的選取；對于透視變換過后的含有完整地面交通標志的圖像進行剪切，得到地面交通標志模板圖像templ_i；templ_i是一個templ_i_width×templ_i_height維圖像矩陣；每一種地面交通標志對應一種模板，共得到六種地面交通標志模板，分別為：直行箭頭模板templ_1、左轉箭頭模板templ_2、右轉箭頭模板templ_3、直行加左轉箭頭模板templ_4、直行加右轉箭頭模板templ_5、掉轉箭頭模板templ_6；4)地面交通標志識別；通過對逆透視變換過后的圖像Src_IP進行邊緣提取，輪廓提取，對每一個輪廓取外接矩形，通過面積過濾、長寬比過濾、尺寸歸一化，得到尺寸一致的完整的地面交通標志圖案diff_j；對于Src_IP中出現的地面交通標志，max_area為面積最大值，此處為3000，min_area為面積最小值，此處為500；經過面積過濾之后，對圖像繼續進行寬高比過濾；寬高比范圍[β_min,β_max]；β_min此處為2.5，β_max此處為8.5，外接矩形寬高比滿足該范圍的輪廓保留；與預先設定的標準的地面交通標志模板圖像temp_i進行計算，計算二者之間的歐氏距離；D=ΣΣ(diff_j_(x)-templ_i(x))2+(diff_j_(y)-templ_i(y))2---(1)]]>歐式距離最小，則認為此時的待檢測的圖像中可能含有相對應的地面交通標志；完整的圖案diff_i與相同尺寸的地面交通標志模板圖像temp_i相減，計算白色像素點個數Sum_i_r；若白色像素點個數在閾值范圍內，則認為此時的待檢測的圖像中含有相對應的地面交通標志；dst_i(x,y)＝|diff_i(x,y)?templ_i_bw(x',y')|????????????(2)dst_i(x,y)表示圖像dst_i中每個像素點，在二值圖像dst_i中每個像素點的值為0或者255，黑色像素點值為0，dst_i(x,y)用0表示；白色像素點的值為255，dst_i(x,y)用1表示；統計dst_i圖像中白色像素點個數Sum_i_r；Sum_i_r=Σx=0diff_i_widΣy=0thdiff_i_heightdst_i(x,y)---(3)]]>將Sum_i_r與預先設定的閾值T相比較，若diff_i_sum小于或者等于閾值T，則圖像Src_IP中含有相對應的模板temp_i所代表的交通標志，就可以輸出該模板所含有的指示信息；若Sum_i_r大于閾值T，則說明圖像Src_IP中不含有相對應的交通標志圖像temp_i；閾值T的閾值范圍(T_i_min，T_i_max)；此處T_i_min為0，T_i_max為1300；每一個標準圖像對應一組范圍；將圖像像素差值Sum_i_r與預先設定的閾值(T_i_min，T_i_max)相比較，若Sum_i_r在閾值(T_i_min，T_i_max)范圍內，則圖像Src_bw中含有相對應的標準圖像templ_i所代表的交通標志，就可以輸出此時待匹配圖像所含有的指示信息；否則，不含有相對應的指示信息；5)智能車輛行駛過程中采集到的是完整的視頻；對于同一個地面交通標志，多次檢測結果，中間的某一次出現錯誤的時候，自動濾除錯誤的識別結果；車輛位于同一車道上，同一地面交通標志出現次數大于等于三次；多車道的情況下，調轉箭頭、左轉、右轉、左轉直行箭頭、右轉直行箭頭不會出現在中間車道。...

【技術特征摘要】
1.一種基于時空關聯的地面交通標志實時檢測識別的方法，其特征在于，包括以下步驟: 1)將攝像機置于車內中央后視鏡處，位置固定，距離地面1-1.2米。 2)通過車輛上固定的攝像機，以20-50幀/秒的幀率實時獲取智能車輛前方道路的圖像Src，結合先驗知識與空間關聯信息，得出當前車道的地面交通標志出現的區域范圍。對獲取的原始圖像Src進行剪切，得到感興趣區域Src_r0i ;對感興趣區域進行灰度變化，得到新的圖像SrC_gray，進行圖像壓縮，得到新的圖像Src_gS ;圖像二值化處理，得到新的圖像Src_bw ;通過形態學處理、中值濾波和逆透視變換得到Src_IP ； 3)標準地面交通標志圖案的選取；對于透視變換過后的含有完整地面交通標志的圖像進行剪切，得到地面交通標志模板圖像tempi」；tempi」是一個templ_i_widthXtempl_i_height維圖像矩陣；每一種地面交通標志對應一種模板，共得到六種地面交通標志模板，分別為:直行箭頭模板templ_l、左轉箭頭模板templ_2、右轉箭頭模板templ_3、直行加左轉箭頭模板templ_4、直行加右轉箭頭模板templ_5、掉轉箭頭模板templ_6 ； 4)地面交通標志識別；通過對逆透視變換過后的圖像Src_IP進行邊緣提取，輪廓提取，對每一個輪廓取外接矩形，通過面積過濾、長寬比過濾、尺寸歸一化，得到尺寸一致的完整的地面交通標志圖案diff_j ； 對于Src_IP中出現的地面交通標志，max_area為面積最大值，此處為3000, min_area為面積最小值，此處為500 ;經過面積過濾之后，對圖像繼續進行寬高比過濾；寬高比范圍[β _min, β _max] ; β _min此處為2.5, β _max此處為8.5,外接矩形寬高比滿足該范圍的輪廊保留； 與預先設定的標準的地面交通標志模板圖像temp」進行計算，計算二者之間的歐氏距離；D = XXV (dIffJJ x f - temPl - ?(x+、diff」」' y) - temP1」(...

【專利技術屬性】
技術研發人員：袁家政，劉宏哲，王棚飛，吳焰樟，
申請(專利權)人：北京聯合大學，
類型：發明
國別省市：北京;11