本發明專利技術涉及一種基于transformer網絡的道路要素分割方法及裝置，其方法包括：獲取至少一張高分辨率的道路圖像，并將每張道路圖像劃分為多個不同尺寸的分塊，且相鄰兩個分塊存在重疊；分別對每個分塊進行特征提取，得到每個分塊的特征圖；基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸；將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量；融合所述多個特征向量，得到道路圖像的分割結果。本發明專利技術通過提取多尺度特征圖，降低了運算量的同時，提高了transformer網絡分割圖像的精度和效率。transformer網絡分割圖像的精度和效率。transformer網絡分割圖像的精度和效率。
【技術實現步驟摘要】
一種基于transformer網絡的道路要素分割方法及裝置
[0001]本專利技術屬于圖像分割與高精度地圖制作
，具體涉及一種基于transformer網絡的道路要素分割方法及裝置。
技術介紹
[0002]在高精度地圖制作領域，提取道路上的箭頭、車道線等要素是極其重要的步驟之一，現階段由于Transformer在計算機視覺領域的興起，越來越多的深度學習方法開始向其靠攏；然而對于高精度地圖中的圖像數據分辨率較大，運用Transformer進行道路要素識別和分割都存在精度提升不高、推理速度慢等問題。
技術實現思路
[0003]為提高Transformer分割高精度地圖中的道路要素的精度和推理速度，在本專利技術的第一方面提供了一種基于transformer網絡的道路要素分割方法，包括：獲取至少一張高分辨率的道路圖像，并將每張道路圖像劃分為多個不同尺寸的分塊，且相鄰兩個分塊存在重疊；分別對每個分塊進行特征提取，得到每個分塊的特征圖；基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸；將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量；融合所述多個特征向量，得到道路圖像的分割結果。
[0004]在本專利技術的一些實施例中，所述分別對每個分塊進行特征提取，得到每個分塊的特征圖包括：分別對每個分塊后的進行不同的卷積操作，得到每個分塊的特征圖。
[0005]進一步的，所述基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸包括：將每個特征圖進行f l atten降維；至少對每個降維后的特征圖進行權重衰減、正則化或卷積中的一種操作，得到多個縮小后的特征圖。
[0006]在本專利技術的一些實施例中，所述將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量包括：將每個縮小后的特征圖分別與預設的三個矩陣相乘，得到其對應的查詢向量矩陣、鍵向量矩陣和值向量矩陣；基于所述向量矩陣、鍵向量矩陣和值向量矩陣，通過注意力計算，得到每個縮小后的特征圖的特征向量。
[0007]進一步的，所述注意力計算包括如下步驟：
[0008][0009]其中attent ion(.)表示注意力計算，Q、K、V分別表示查詢向量、鍵向量和值向量；dk表示歸一化參數。
[0010]在上述的實施例中，所述融合所述多個特征向量，得到道路圖像的分割結果包括：將多個特征向量通過多層感知機網絡進行融合，得到多維特征向量；對所述多維特征向量通過上采樣，得到道路圖像的分割結果。
[0011]本專利技術的第二方面，提供了一種基于transformer網絡的道路要素分割裝置，包
括：獲取模塊，用于獲取至少一張高分辨率的道路圖像，并將每張道路圖像劃分為多個不同尺寸的分塊，且相鄰兩個分塊存在重疊；縮小模塊，用于分別對每個分塊進行特征提取，得到每個分塊的特征圖；基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸；計算模塊，用于將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量；融合模塊，用于融合所述多個特征向量，得到道路圖像的分割結果。
[0012]本專利技術的第三方面，提供了一種電子設備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現本專利技術在第一方面提供的基于transformer網絡的道路要素分割方法。
[0013]本專利技術的第四方面，提供了一種計算機可讀介質，其上存儲有計算機程序，其中，所述計算機程序被處理器執行時實現本專利技術在第一方面提供的基于transformer網絡的道路要素分割方法。
[0014]本專利技術的有益效果是：
[0015]本專利提出一種基于改進型transformer網絡的道路要素分割方法和裝置，該方法較以往的Transformer方法而言，有以下三點優點：第一，該方法借鑒了CNN的多尺度策略，即將圖片為提取多個維度的特征圖，后續再做融合；第二、該方法在切分圖像時，是有重疊的切分，保證每個目標的邊緣平滑；第三、計算注意力之前，特征圖的尺寸減少R倍，算法的計算復雜度從O(n^2)變為O((n^2)/R)；通過以上的改進點，使得本算法大幅提升了分割、以及高精度地圖制作的精度指標；同時，推理速度也較之前的Transformer的網絡有了極大的提升，也間接提升了高精度地圖的制作效率。
附圖說明
[0016]圖1為本專利技術的一些實施例中的基于transformer網絡的道路要素分割方法的基本流程示意圖；
[0017]圖2為本專利技術的一些實施例中的基于transformer網絡的道路要素分割方法的具體流程示意圖；
[0018]圖3為本專利技術的一些實施例中的道路分割后的效果圖；
[0019]圖4為本專利技術的一些實施例中的基于transformer網絡的道路要素分割裝置的結構示意圖；
[0020]圖5為本專利技術的一些實施例中的電子設備的結構示意圖。
具體實施方式
[0021]以下結合附圖對本專利技術的原理和特征進行描述，所舉實例只用于解釋本專利技術，并非用于限定本專利技術的范圍。
[0022]參考圖1與圖2，在本專利技術的第一方面，提供了一種基于transformer網絡的道路要素分割方法，包括：S100.獲取至少一張高分辨率的道路圖像，并將每張道路圖像劃分為多個不同尺寸的分塊，且相鄰兩個分塊存在重疊；S200.分別對每個分塊進行特征提取，得到每個分塊的特征圖；基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸；S300.將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量；
S400.融合所述多個特征向量，得到道路圖像的分割結果。
[0023]可以理解，本公開中圖像的尺度、尺寸、分辨率或大小在通常計算設備或裝置的圖像處理過程中具有等同的意義；例如1080P的圖像，其分辨率為1920*1080像素，則其圖像大小約為1MB；不失一般性，高于1080P分辨率的圖像，或圖像大小大于1MB的圖像為高分辨率/高精度圖像。在本公開中，其通常對應于通過采集車輛采集的道路圖像，或由激光雷達通過三維掃描得到的點云，經過投影變換得到的道路圖像。
[0024]在本專利技術的一些實施例的步驟S100中，獲取至少一張高分辨率的道路圖像，并將每張道路圖像劃分為多個不同尺寸的分塊，且相鄰兩個分塊存在重疊。具體地，將shape為(1，3，2048，2048)尺寸的圖像首先通過Over l ap_Patch模塊進行切片，該模塊通過conv操作將圖像劃分為不同尺寸的patch，且每個patch與相鄰的patch之間是有重疊區域的；括號中的第一個參數代表每次處理的圖像張數或層數，第二個參數表示特征數或通道數；第三個和第四個參數分辨表示圖像的寬度和高度。
[0025]在本專利技術的一些實施例的步驟S200中，所述分別對每個分塊進行特征提取，得到每個分塊的特征圖包本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種基于transformer網絡的道路要素分割方法，其特征在于，包括：獲取至少一張高分辨率的道路圖像，并將每張道路圖像劃分為多個不同尺寸的分塊，且相鄰兩個分塊存在重疊；分別對每個分塊進行特征提取，得到每個分塊的特征圖；基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸；將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量；融合所述多個特征向量，得到道路圖像的分割結果。2.根據權利要求1所述的基于transformer網絡的道路要素分割方法，其特征在于，所述分別對每個分塊進行特征提取，得到每個分塊的特征圖包括：分別對每個分塊后的進行不同的卷積操作，得到每個分塊的特征圖。3.根據權利要求1所述的基于transformer網絡的道路要素分割方法，其特征在于，所述基于預設衰減系數、正則化或卷積，縮小每個特征圖的尺寸包括：將每個特征圖進行flatten降維；至少對每個降維后的特征圖進行權重衰減、正則化或卷積中的一種操作，得到多個縮小后的特征圖。4.根據權利要求1所述的基于transformer網絡的道路要素分割方法，其特征在于，所述將多個縮小后的特征圖分別通過transformer網絡進行多頭注意力計算，得到多個特征向量包括：將每個縮小后的特征圖分別與預設的三個矩陣相乘，得到其對應的查詢向量矩陣、鍵向量矩陣和值向量矩陣；基于所述向量矩陣、鍵向量矩陣和值向量矩陣，通過注意力計算，得到每個縮小后的特征圖的特征向量。5.根據權利要求4所述的基于transformer網絡的道路要素分割方法，其特征在于，所述注意力計算包括如下步驟：其中attention(.)表示注意力計算，Q、K、V分別表示查詢向...
【專利技術屬性】
技術研發人員：萬齊斌，王暢，尹玉成，劉奮，
申請(專利權)人：武漢中海庭數據技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。