【技術實現步驟摘要】
本專利技術主要涉及城軌列車運行防護，特別是涉及一種基于圖像與雷達融合的遠距離障礙物檢測方法。
技術介紹
1、城軌列車障礙物檢測系統為列車自動控制系統和自動運行系統提供準確的列車位置信息和運行前方障礙物信息，是實現城軌列車自動駕駛的重要前提。隨著無人駕駛技術的發展，對障礙物檢測系統的檢測范圍、精確性和安全性提出了更高的要求。
2、目前大部分的列車障礙物檢測系統，是以激光雷達和imu（慣性傳感器）為主的。在imu數據（慣導數據）偏移較大或激光雷達無法探測到遠距離目標時，則障礙物檢測功能不可用，列車丟失定位或進入非安全檢測狀態。因此，采用其他傳感器數據進行信息補充是非常必要的。
3、在目前采用的激光雷達與圖像融合方式中，以決策融合為主，決策融合只注重障礙物檢測結果，而忽略障礙物的距離信息。在激光雷達無法提供障礙物的位置信息時采用圖像信息補充障礙物的位置信息，對障礙物檢測系統的精確性和安全性帶來了巨大的挑戰。
4、設計更加有效的信息融合算法，實現遠距離的障礙物檢測，是提高障礙物檢測系統檢測范圍、精確性以及安全性的有效方式。
技術實現思路
1、本專利技術的目的在于是提供一種基于圖像與雷達融合的遠距離障礙物檢測方法，針對現有技術忽略障礙物的距離信息等問題，對激光雷達未探測到的遠距離障礙物進行檢測并補償距離信息，提高障礙物檢測系統檢測范圍、精確性以及安全性。
2、為達到上述目的，本專利技術提供了一種基于圖像與雷達融合的遠距離障礙物檢測方法，包括以下
3、步驟1：相機生成圖像數據、激光雷達生成點云數據、慣性傳感器生成慣導數據，點云數據包括地面點云數據、目標點云數據、非目標點云數據，將圖像數據、點云數據以及慣導數據進行時間對齊，將圖像數據、點云數據以及慣導數據進行坐標系投影變換實現空間坐標對齊；
4、步驟2：基于慣導數據與點云數據融合的位姿估計，結合高精地圖識別區域內的目標；
5、步驟3：基于圖像檢測并估計目標的距離信息，結合相應世界坐標系下的空間坐標位置的雷達檢測結果判別，當雷達檢測結果有效時，則輸出雷達檢測結果；
6、步驟4：基于圖像檢測與雷達檢測的判別結果，當只有圖像檢測結果時，結合未濾除的地面點云數據進行最近相關點搜尋，輸出未濾除的地面點云數據估計的目標距離信息；
7、步驟5：基于最近相關點的距離信息，將當前幀最近相關點的距離數據結合前4幀的距離數據求均值，得出最終的目標檢測結果及距離信息。
8、進一步的，步驟1中，將圖像數據、點云數據以及慣導數據進行時間對齊以及空間坐標對齊的具體處理過程包括：
9、s1：基于最近時間相關法比較圖像數據、點云數據以及慣導數據的時間戳，以點云數據的時間戳為基準；
10、s2：比較圖像數據在點云數據時間戳的前一幀和后一幀的時間戳是否相同或在極小的范圍內，選擇時間戳差值最小的幀作為對齊的圖像數據；
11、s3：比較慣導數據在點云數據時間戳的前一幀和后一幀的時間戳是否相同或在極小的范圍內，在假設慣導數據前后幀數據以固定增量變化的前提下估計與點云數據時間戳相同的慣導數據進行對齊；
12、s4：基于相機、激光雷達以及慣性傳感器坐標系基點的旋轉、平移關系，采用投影變換的方法計算坐標系之間的轉換矩陣，保證相機、激光雷達以及慣性傳感器的坐標系原點在同一坐標系下。
13、進一步的，步驟2中，基于慣導數據與點云數據融合的位姿估計，結合高精地圖識別區域內的目標的過程為：基于事先建立的線路高精地圖，采用landmark定位方式初始化列車的位姿，結合慣導數據計算列車在地圖中的位置，剔除激光雷達采集的地面點云數據和非目標點云數據，識別出真實的障礙物目標。
14、進一步的，步驟3中，圖像檢測并估計目標的距離信息使用圖像估計目標距離算法，針對不同類型的目標分別估計中心距離，具體步驟如下：
15、s5：基于相機采集的圖像數據進行畸變校正，獲取相機的內外參數矩陣，以此設置圖像數據的距離偏移量；
16、s6：基于圖像數據進行目標檢測，區分目標類型，為不同類型的目標分配不同的像素寬度和像素高度；
17、s7：計算不同類型目標在寬度和高度上的位置再疊加距離偏移量，比較最小值后得到目標估計距離；
18、基于圖像檢測和雷達檢測結果判別的具體處理過程包括：基于圖像估計目標距離算法檢測的目標類型及距離，根據變換矩陣計算所有點云數據在相應世界坐標系位置是否存在目標，若在該位置存在雷達檢測結果，則輸出雷達檢測結果，否則，跳轉步驟4。
19、進一步的，步驟4中，基于圖像檢測結果，結合地面點云數據的特征得出估計的目標距離信息的具體處理過程包括：
20、基于圖像估計距離以及雷達檢測結果，若在同一世界坐標系下的相同位置僅有圖像檢測結果，則將地面點云數據與圖像估計距離進行比較，即。
21、進一步的，步驟5中，基于相關點的距離信息，計算最終的目標檢測結果及距離信息的具體處理過程包括：
22、基于地面點云數據與圖像檢測結果的估計距離信息，取前4幀結果與當前幀求均值，即。
23、進一步的，還包括步驟6：輸出安全保護方案，輸出安全保護方案的流程包括以下步驟：
24、s8：將圖像數據、點云數據以及慣導數據進行融合，加入列車運行速度約束條件，判別障礙物檢測結果的有效性；
25、s9：基于障礙物檢測結果的有效性，結合城軌列車障礙物檢測場景及類型判別屬于危險障礙物類型；
26、s10：基于危險障礙物類型的分析，判斷障礙物距離是否屬于安全距離，輸出安全保護方案。
27、進一步的，在步驟s5中，圖像數據進行畸變校正的具體處理流程包括：
28、采用特制的標定板拍照，利用角點檢測將世界坐標系轉換到相機坐標系，即
29、；
30、通過泰勒公式展開計算徑向畸變系數和切向畸變系數并經過重構對比誤差，得到內參矩陣；
31、基于內外參數矩陣的值設置距離偏移量；
32、在步驟s6中，對圖像數據進行目標檢測，為不同類型的目標分配不同的像素寬度和像素高度的具體處理過程包括：采用深度學習網絡模型檢測目標并得到類型名稱，為特定的類型分配基于先驗信息的像素寬度、高度；
33、在步驟s7中，圖像數據估計目標距離的具體處理流程包括：
34、將深度學習網絡模型檢測的目標像素寬度、高度乘以焦距，再分別除以設定的像素寬度、高度并疊加距離偏移量，比較寬度位置和高度位置的最小值，將最小值作為目標的估計距離。
35、進一步的，在步驟s8中，基于圖像數據、點云數據以及慣導數據融合，判別障礙物檢測結果的有效性的具體處理過程包括：基于圖像數據、點云數據以及慣導數據，通過圖像估計目標距離算法以及圖像與雷達融合算法，獲得障礙物的類型及距離信息，根據列車運行速度的約束條件，超過運行速度的結果為本文檔來自技高網...
【技術保護點】
1.一種基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟1中，將圖像數據、點云數據以及慣導數據進行時間對齊以及空間坐標對齊的具體處理過程包括：
3.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟2中，基于慣導數據與點云數據融合的位姿估計，結合高精地圖識別區域內的目標的過程為：基于事先建立的線路高精地圖，采用landmark定位方式初始化列車的位姿，結合慣導數據計算列車在地圖中的位置，剔除激光雷達采集的地面點云數據和非目標點云數據，識別出真實的障礙物目標。
4.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟3中，圖像檢測并估計目標的距離信息使用圖像估計目標距離算法，針對不同類型的目標分別估計中心距離，具體步驟如下：
5.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟4中，基于圖像檢測結果，結合地面點云數據的特征得出估計的目標距離信息的具體
6.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟5中，基于相關點的距離信息，計算最終的目標檢測結果及距離信息的具體處理過程包括：
7.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，還包括步驟6：輸出安全保護方案，輸出安全保護方案的流程包括以下步驟：
8.根據權利要求4所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，在步驟S5中，圖像數據進行畸變校正的具體處理流程包括：
9.根據權利要求7所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，
...【技術特征摘要】
1.一種基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟1中，將圖像數據、點云數據以及慣導數據進行時間對齊以及空間坐標對齊的具體處理過程包括：
3.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟2中，基于慣導數據與點云數據融合的位姿估計，結合高精地圖識別區域內的目標的過程為：基于事先建立的線路高精地圖，采用landmark定位方式初始化列車的位姿，結合慣導數據計算列車在地圖中的位置，剔除激光雷達采集的地面點云數據和非目標點云數據，識別出真實的障礙物目標。
4.根據權利要求1所示的基于圖像與雷達融合的遠距離障礙物檢測方法，其特征在于，步驟3中，圖像檢測并估計目標的距離信息使用圖像估計目標距離算法，針對不同類型的目標...
【專利技術屬性】
技術研發人員：唐澤龍，
申請(專利權)人：南京恩瑞特實業有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。