基于Transformer的多傳感器融合目標檢測方法技術

本發明專利技術公開了一種基于Transformer的多傳感器融合目標檢測方法，包括首先獲取攝像頭、激光雷達、毫米波雷達三傳感器的原始數據，將獲得的數據作為三種不同的模態輸入到基于Transformer的多傳感器融合網絡中，其次用激光雷達源模態的特征反復強化攝像頭目標模態，輸出潛在適應后的新模態，然后再利用毫米波雷達源模態的特征反復強化所述的新模態特征，輸出最終的融合結果，得到補充修正后的道路目標檢測框。本發明專利技術能夠避免車輛在行駛過程中，由于單一傳感器的錯檢或者誤檢所帶來的危害，從而保證為決策規劃部分提供更為準確、豐富的道路目標信息。路目標信息。路目標信息。

【技術實現步驟摘要】
基于Transformer的多傳感器融合目標檢測方法


[0001]本專利技術涉及目標檢測
，特別是涉及一種攝像頭、激光雷達和毫米波雷達融合的目標檢測方法。

技術介紹

[0002]近年來，隨著智能駕駛技術的飛速發展，車輛行業對提高駕駛安全性的高級輔助駕駛系統的發展愈發重視，準確高效的環境感知是實現高級輔助駕駛的首要任務，當前，智能車輛環境感知技術主要依賴于雷達、視覺等車載傳感器。視覺傳感器主要用于目標識別等，優點有探測范圍廣，目標信息較完善等，缺點有計算量大，無法獲取深度信息等；毫米波雷達傳感器主要用于目標位置和速度檢測，優點有可直接獲取障礙物距離速度信息，可穿透雨霧濃煙等，缺點有噪聲大，無法獲取目標輪廓；激光雷達主要用于障礙物檢測識別，深度信息獲取，優點有可直接獲取環境的三維信息，抗干擾性強，缺點有易受雨雪大霧等天氣影響，成本較高；由于工作原理等方面原因，單一傳感器通常只能獲得被檢測目標的部分特征，無法全面描述道路環境信息，難以滿足智能駕駛的環境感知需求。
[0003]目前，較為流行的基于規則的后融合算法因為不同傳感器的數據處理方法不同，所以在融合階段需要對多傳感器進行兩兩聯合標定，難點之一就是時空對齊，將不同傳感器的數據統一到同一坐標系下，難點之二就是融合策略的制定，針對傳感器失效的情況，融合過程很難持續進行。

技術實現思路

[0004]本專利技術針對現有方法存在的問題，提供一種基于Transformer的多傳感器融合目標檢測方法，以期能實現智能駕駛領域感知方向的多傳感器目標融合，獲取更為準確、豐富的道路目標信息，從而避免車輛在行駛過程中，由于單一傳感器的錯檢或者誤檢所帶來的弊端。
[0005]本專利技術為達到上述專利技術目的，采用如下技術方案：
[0006]本專利技術一種基于Transformer網絡的多傳感器融合目標檢測方法的特點在于，包括如下步驟：
[0007]A、由攝像頭獲取原始圖像數據并輸入預訓練后的目標檢測神經網絡YOLOv4中進行處理，并輸出道路目標的圖像識別結果，其中，任意一個道路目標的圖像識別結果所組成的圖像特征序列記為N
C
，包括：道路目標的類別信息class
cam
和2D檢測框數據bbox
cam_2D
以及置信度score
cam
，所述2D檢測框數據bbox
cam_2D
包括：2D檢測框的中心坐標(x
C_2D
,y
C_2D
)，2D檢測框的長w
C_2D
和寬h
C_2D
；
[0008]B、由激光雷達采集點云數據并輸入預訓練后的點云目標檢測網絡Pointpillars中進行處理，并輸出道路目標的點云識別結果，其中，任意一個道路目標的點云識別結果所組成的點云特征序列記為N
L
，包括：道路目標的類別信息class
lidar
、2D檢測框數據bbox
lidar_2D
、3D檢測框數據bbox
lidar_3D
以及置信度score
lidar
；所述2D檢測框數據bbox
lidar_2D
包括2D檢測框的中心坐標(x
L_2D
，y
L_2D
)，2D檢測框的長w
L_2D
和寬h
L_2D
，所述3D檢測框數據bbox
lidar_3D
包括：3D檢測框的中心坐標(x
L_3D
，y
L_3D
，z
L_3D
)，3D檢測框的長w
L_3D
、寬h
L_3D
和高l
L_3D
；
[0009]C、利用毫米波雷達采集原始2D點云數據并進行聚類處理，得到道路目標的聚類結果，任意一個道路目標的聚類結果所組成的2D點云特征序列記為N
R
，包括：道路目標的類別信息class
radar
、2D檢測框數據bbox
radar_2D
、道路目標速度信息velocity
radar
以及置信度score
radar
；所述2D檢測框數據bbox
radar_2D
包括：2D檢測框的中心坐標(x
R_2D
，y
R_2D
)，2D檢測框的長w
R_2D
和寬h
R_2D
；
[0010]D、將圖像特征序列N
C
、點云特征序列N
L
、2D點云特征序列N
R
在特征維度上填充到統一尺寸，從而相應得到填充后的第一種模態C、第二種模態L、第三種模態R；
[0011]E、利用一種基于Transformer的多模態感知融合網絡對所述第一種模態C、第二種模態L、第三種模態R進行處理：
[0012]E1、采用Transformer編碼器對所述第一種模態C和第二種模態L進行關聯和映射，從而將第二種模態L的低階特征去潛在適應第一種模態C的特征數據，并輸出融合模態C
*
；
[0013]E2、采用Transformer編碼器對所述融合模態C
*
和第三種模態R進行關聯和映射，從而將第三種模態R的低階特征去潛在適應融合模態C
*
的特征數據，并輸出最終融合模態C
**
；
[0014]E3、將所述最終融合模態C
**
中置信度小于σ的數據進行過濾，再采用非極大值抑制算法對過濾后的數據去除重復數據，最終輸出多模態感知融合網絡的預測檢測框。
[0015]本專利技術所述的一種基于Transformer的多傳感器融合目標檢測方法的特點也在于，所述步驟E 1中融合模態C
*
是按如下步驟得到：
[0016]A、將所述第一種模態C和第二種模態L經過第一個殘差塊層處理，包括：
[0017]A1、通過LayerNorm層對所述第一種模態C和第二種模態L進行標準化處理，分別得到標準化后的第一種模態序列N
C1
和第二種模態序列N
L1
；
[0018]A2、利用μ種不同的線性變換矩陣W
q
對第一種模態序列N
C1
進行多尺度線性變換得到變換后的第一種模態序列Q
C
；
[0019]利用μ種不同的線性變換矩陣W
k
和W
v
分別對第二種模態序列N
L1
分別進行多尺度線性變換得到變換后的第二種模態序列K
L
和V
L
；
[0020]A3、將序列Q
C
、K
L
、V
L
再經過跨模態注意力層的處理后，得到關聯代表本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于Transformer網絡的多傳感器融合目標檢測方法，其特征在于，包括如下步驟：A、由攝像頭獲取原始圖像數據并輸入預訓練后的目標檢測神經網絡YOLOv4中進行處理，并輸出道路目標的圖像識別結果，其中，任意一個道路目標的圖像識別結果所組成的圖像特征序列記為N
C
，包括：道路目標的類別信息class
cam
和2D檢測框數據bbox
cam_2D
以及置信度score
cam
，所述2D檢測框數據bbox
cam_2D
包括：2D檢測框的中心坐標(x
C_2D
,y
C_2D
)，2D檢測框的長w
C_2D
和寬h
C_2D
；B、由激光雷達采集點云數據并輸入預訓練后的點云目標檢測網絡Pointpillars中進行處理，并輸出道路目標的點云識別結果，其中，任意一個道路目標的點云識別結果所組成的點云特征序列記為N
L
，包括：道路目標的類別信息class
lidar
、2D檢測框數據bbox
lidar_2D
、3D檢測框數據bbox
lidar_3D
以及置信度score
lidar
；所述2D檢測框數據bbox
lidar_2D
包括2D檢測框的中心坐標2D檢測框的長和寬所述3D檢測框數據bbox
lidar_3D
包括：3D檢測框的中心坐標3D檢測框的長寬和高C、利用毫米波雷達采集原始2D點云數據并進行聚類處理，得到道路目標的聚類結果，任意一個道路目標的聚類結果所組成的2D點云特征序列記為N
R
，包括：道路目標的類別信息class
radar
、2D檢測框數據bbox
radar_2D
、道路目標速度信息velocity
radar
以及置信度score
radar
；所述2D檢測框數據bbox
radar_2D
包括：2D檢測框的中心坐標(x
R_2D
,y
R_2D
)，2D檢測框的長w
R_2D
和寬h
R_2D
；D、將圖像特征序列N
C
、點云特征序列N
L
、2D點云特征序列N
R
在特征維度上填充到統一尺寸，從而相應得到填充后的第一種模態C、第二種模態L、第三種模態R；E、利用一種基于Transformer的多模態感知融合網絡對所述第一種模態C、第二種模態L、第三種模態R進行處理：E1、采用Transformer編碼器對所述第一種模態C和第二種模態L進行關聯和映射，從而將第二種模態L的低階特征去潛在適應第一種模態C的特征數據，并輸出融合模態C
*
；E2、采用Transformer編碼器對所述融合模態C
*

【專利技術屬性】
技術研發人員：張炳力，楊程磊，姜俊昭，潘澤昊，王欣雨，王懌昕，王焱輝，
申請(專利權)人：合肥工業大學，
類型：發明
國別省市：