一種基于LiDAR和圖像融合的街道場景語義分割方法技術

本發明專利技術涉及一種基于LiDAR（激光雷達）和圖像融合的街道場景語義分割方法，包括：輸入LiDAR點云和圖像并進行預處理；將點云投影到圖像中后，對圖像進行上下文信息的融合得到融合信息；使用點云語義分割網絡提取融合信息中的粗粒度特征；使用圖像語義分割網絡提取圖像高維語義特征，計算偏移量得到對齊后的圖像語義特征；將圖像語義特征和粗粒度特征融合后得到融合語義特征，使用點云語義分割網絡提取融合語義特征的細粒度的語義特征，得到語義分割結果；采用一種簡單且有效的前融合策略來融合圖像上下文信息和LiDAR點云信息這兩種不同模態的信息，以此來生成語義類別特征；有效的增強所提取點云的特征的判別力，提升模型對場景分割的準確率。分割的準確率。分割的準確率。

【技術實現步驟摘要】
一種基于LiDAR和圖像融合的街道場景語義分割方法


[0001]本專利技術涉及計算機視覺領域，尤其涉及一種基于LiDAR和圖像融合的街道場景語義分割方法。

技術介紹

[0002]圖像包含了豐富的色彩信息和紋理信息，但是存在尺度、遮擋等問題，相對圖像而言，點云包含了三維的幾何結構和深度信息，但是點云具有稀疏不一致的問題。
[0003]LiDAR點云和圖像信息融合主要思想是利用LiDAR和相機兩種傳感器對環境感知的不同優勢進行互補，提高模型對街道場景的感知理解能力。
[0004]以街道場景點云語義分割為例，隨著自動駕駛的快速發展，3D場景感知受到了越來越多的關注，街道場景語義分割對自動駕駛汽車的環境感知和規劃十分重要。目前，街道場景分割的方法可以分為三類：基于投影的方法，基于體素的方法和基于多視圖融合的方法。Cortinhal等人利用球形投影機制將LiDAR點云投影成為偽圖像，然后利用一個編碼
?
解碼結構的網絡來獲得語義信息。Kochanov等人利用殘差網絡ResNetXt
?
101和空洞空間金字塔池化（ASPP）構建了一個增強的網絡結構，并利用KPConv作為分割頭替換掉KNN后處理過程。Zhang等人利用極坐標的鳥瞰圖投影替代了常規的基于2D網絡的鳥瞰投影（BEV）。基于投影的方法不可避免的會損失和改變原有的幾何拓撲結構，導致無法有效的對幾何信息進行建模。基于體素的方法將LiDAR點云柵格化到一系列的體素網格中，并使用3D卷積來獲得語義分割結果。Tang等人設計了一些策略來加速3D卷積的計算，以更少的計算量和內存消耗來提高性能。考慮到LiDAR點云的稀疏性和密度變化等固有特性，Zhou等人采用在柱坐標系下將LiDAR點云劃分到不同的扇區，并設計了一種非對稱殘差塊結構以進一步減少計算消耗。基于多視圖融合的方法結合了基于體素和基于投影或基于點的操作對LiDAR點云進行分割。例如，Wang等人在開始時結合來自BEV的逐點的信息和偽圖像信息，然后使用一個深度學習網絡來提取特征。Cheng等人采用基于點和基于體素的融合策略實現了更好的分割性能。Xu等人通過門控融合機制融合了基于點、基于投影和基于體素的操作，進而構建了一個深度融合網絡。由于LiDAR點云缺少豐富的顏色和紋理信息，這些方法的性能也受到了限制。
[0005]為了充分利用LiDAR點云和圖像的優勢信息進行互補，在基于LiDAR點云的3D目標檢測任務中，一些研究者開始探索LiDAR和圖像信息的融合方法。例如，Xie等人通過對3D點進行逐點卷積并應用特征聚合操作來融合圖像和LiDAR點云的特征。Yoo等人采用一種跨視圖空間特征融合策略來融合圖像和LiDAR點云的特征，實現了更好的檢測性能。Huang等人提出了一種激光雷達引導的圖像融合模塊來增強在不同尺度上與圖像語義特征對應的LiDAR點云特征。Vora等人將LiDAR點云投影到圖像上，并將圖像特征附加到每個點上，然后使用一個LiDAR檢測器實現目標檢測。
[0006]綜上，現有的LiDAR點云語義分割方法僅使用點云的信息來提取特征，而沒有研究如何充分利用圖像信息和LiDAR點云的優勢進行互補，以進一步提高模型對街道場景的感
知能力。

技術實現思路

[0007]本專利技術針對現有技術中存在的技術問題，提供一種基于LiDAR和圖像融合的街道場景語義分割方法，首先采用一種簡單且有效的前融合策略來融合圖像上下文信息和LiDAR點云信息這兩種不同模態的信息，以此來生成街道場景語義類別特征。在此基礎上，提出一個偏移矯正方法來解決相機和LiDAR之間的弱時空同步問題（表現為將點云投影到圖像平面，屬于某個物體的投影點可能會落到物體外），以更好的融合圖像語義特征和LiDAR點云特征，從而有效的增強所提取點云的特征的判別力，進一步提升模型對街道場景分割的準確率。
[0008]根據本專利技術的第一方面，提供了一種基于LiDAR和圖像融合的街道場景語義分割方法，包括：步驟1，輸入LiDAR點云和圖像并進行預處理；步驟2，將點云投影到圖像中后，對所述圖像進行上下文信息的融合得到融合信息；步驟3，使用點云語義分割網絡提取所述融合信息中的粗粒度特征；使用圖像語義分割網絡提取圖像高維語義特征，計算偏移量得到對齊后的圖像語義特征；步驟4，將所述圖像語義特征和所述粗粒度特征融合后得到融合語義特征，使用點云語義分割網絡提取所述融合語義特征的細粒度的語義特征，得到語義分割結果。
[0009]在上述技術方案的基礎上，本專利技術還可以作出如下改進。
[0010]可選的，所述步驟1中對輸入的所述點云進行預處理的過程包括：將所述點云的XYZ坐標變換到柱坐標空間，計算在柱坐標系下所述點云的范圍，確定該范圍對應的最大值和最小值；根據設置的參數將各個所述點云劃分到一系列的圓柱分區中。
[0011]可選的，所述步驟2包括：步驟201，根據點云的原始坐標、位姿變換矩陣、相機內參矩陣，將點云投影到圖像平面，生成投影索引；其中，，R表示實數，表示LiDAR點云中點的數量；步驟202，將落在圖像平面外的點過濾掉，對投影索引更新后保存到內存中；步驟203，根據更新后的投影索引坐標，在圖像平面上，以投影點為中心，以大小為w
×
w的窗口進行上下文信息采樣，并將所述窗口中每個像素位置的RGB顏色值作為特征聚合到一起得到圖像上下文信息；將所述圖像上下文信息附加到原始點云的特征后面根據點云體素劃分的索引對特征進行處理。
[0012]可選的，所述步驟202中更新后的所述投影索引為：；其中，；H
×
W為圖像的大小。
[0013]可選的，所述步驟203中得到所述圖像上下文信息的過程為：；；其中，sample（）表示用于采樣的函數，reshape（）表示將指定的矩陣變換成特定維數矩陣的函數，I表示圖像，N
i
表示過濾后的點云的點的數量。
[0014]可選的，所述步驟3中所述點云語義分割網絡為UNet結構網絡；所述圖像語義分割網絡為DeepLab。
[0015]可選的，所述步驟3中基于所述圖像高維語義特征，計算偏移量得到對齊后的圖像語義特征的過程為：使用所述投影索引Idx將所述粗粒度的語義特征投影到圖像平面，得到和所述圖像高維語義特征具有相同形狀的偽圖像特征；將所述粗粒度的語義特征和所述偽圖像特征融合后得到融合后的特征；將融合后的特征輸入到一個兩層的深度卷積網絡中進行偏移學習得到所述偏移量Offset；基于所述偏移量Offset更新所述投影索引Idx并進行反向投影；根據更新后的所述投影索引Idx的位置將對應的所述圖像高維語義特征提取出來得到對齊后的圖像語義特征。
[0016]可選的，所述步驟4中得到所述融合語義特征的過程包括：將所述圖像語義特征附加在所述粗粒度的語義特征后面，和粗粒度的語義特征相融合得到融合語義特征相融合得到融合語義特征相融合得到融合語義特征。
[0017]可選的，所述步驟4中使用一個基于LiDAR語義分割的結構的本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于LiDAR和圖像融合的街道場景語義分割方法，其特征在于，所述語義分割方法包括：步驟1，輸入LiDAR點云和圖像并進行預處理；步驟2，將點云投影到圖像中后，對所述圖像進行上下文信息的融合得到融合信息；步驟3，使用點云語義分割網絡提取所述融合信息中的粗粒度特征；使用圖像語義分割網絡提取圖像高維語義特征，計算偏移量得到對齊后的圖像語義特征；步驟4，將所述圖像語義特征和所述粗粒度特征融合后得到融合語義特征，使用點云語義分割網絡提取所述融合語義特征的細粒度的語義特征，得到語義分割結果。2.根據權利要求1所述的語義分割方法，其特征在于，所述步驟1中對輸入的所述點云進行預處理的過程包括：將所述點云的XYZ坐標變換到柱坐標空間，計算在柱坐標系下所述點云的范圍，確定該范圍對應的最大值和最小值；根據設置的參數將各個所述點云劃分到一系列的圓柱分區中。3.根據權利要求1所述的語義分割方法，其特征在于，所述步驟2包括：步驟201，根據點云的原始坐標、位姿變換矩陣、相機內參矩陣，將點云投影到圖像平面，生成投影索引；其中，，R表示實數，表示LiDAR點云中點的數量；步驟202，將落在圖像平面外的點過濾掉，對投影索引更新后保存到內存中；步驟203，根據更新后的投影索引坐標，在圖像平面上，以投影點為中心，以大小為w
×
w的窗口進行上下文信息采樣，并將所述窗口中每個像素位置的RGB顏色值作為特征聚合到一起得到圖像上下文信息；將所述圖像上下文信息附加到原始點云的特征后面根據點云體素劃分的索引對特征進行處理。4.根據權利要求3所述的語義分割方法，其特征在于，所述步驟202中更新后的所述投影索引為：；其中，；H
×
W為圖像的大小。5...

【專利技術屬性】
技術研發人員：陶文兵，趙藺，劉李漫，
申請(專利權)人：武漢圖科智能科技有限公司，
類型：發明
國別省市：