一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法技術

本發明專利技術公開了一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法，能夠在自動駕駛復雜場景中解決類別標簽與目標區域空間信息錯誤關聯的問題，其具體實施方案為：1)獲取數據集與對應標簽；2)訓練集數據處理；3)構建道路分類模型；4)訓練道路分類模型；5)獲取道路全局空間權重；6)提取超像素區域級特征；7)融合空間先驗和區域級特征的自適應加權聚類；8)車輛可行域圖像分割。本發明專利技術可通過道路全局空間權重生成方法優化可行域類別標簽關聯到的目標區域空間信息，提供精準的空間先驗，并結合可行域局部相似性提取超像素區域級特征以獲取可行域判別表征，從而有效提升弱監督車輛可行域分割的準確性和魯棒性。督車輛可行域分割的準確性和魯棒性。

【技術實現步驟摘要】
一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法


[0001]本專利技術屬于圖像處理
，具體涉及一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法。

技術介紹

[0002]車輛可行域分割旨在識別路面上可確保車輛安全行駛而不發生碰撞的可通行區域。作為自動駕駛領域中的關鍵感知問題之一，可行駛區域的準確識別對車輛軌跡預測和路徑規劃等都起著至關重要的作用。車輛可行域分割可作為全監督語義分割任務解決，但這種方法需要大量人工標注的像素級標簽，過程耗時長且容易引入標注人員的主觀誤差，限制了車輛可行域分割方法在不同環境中的遷移性。因此，研究如何用更易獲得的圖像級弱標簽來進行車輛可行域分割對于自動駕駛領域具有重要意義。
[0003]目前弱監督語義分割方法主要利用圖像級弱標簽的隱式定位能力，通過將類別標簽與圖像中的目標空間信息進行關聯來實現像素級分割。在簡單場景下，每張圖像所包含的標簽數量極少且差異較大，很容易將類別標簽關聯到目標判別區域的空間信息，而在自動駕駛場景下，圖像中存在著大量類別標簽，一些干擾性較強的非道路類別物體如車輛、行人等，會重復出現于每張圖像中，導致模型難以直接有效學習到可行域的判別表征，關聯到錯誤的目標區域空間信息。因此，現有適用于簡單場景的弱監督語義分割方法難以直接應用在復雜場景弱監督語義分割任務中。

技術實現思路

[0004]本專利技術的目的在于克服現有技術的缺點與不足，提出一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法，該方法通過道路全局空間權重生成方法來優化類別標簽關聯到的目標區域空間信息，通過超像素區域級特征提取方法融合可行域局部相似性與高級語義信息，從而有效學習到可行域判別表征，提高弱監督車輛可行域分割方法在自動駕駛復雜場景下的準確性和魯棒性。
[0005]一、技術原理
[0006]現有的弱監督語義分割方法主要將類別標簽與圖像區域空間信息進行關聯以實現目標的像素級分割，但現有技術并不適用于自動駕駛復雜場景，大量干擾性較強的非道路類別物體，如車輛、行人等重復出現于每張圖像中，導致標簽容易關聯到錯誤的目標區域。為了實現類別標簽與目標判別區域空間信息的有效關聯，本專利技術提出道路全局空間權重生成方法：通過底部裁剪訓練策略使分類模型更關注到路面特征，提取到準確的目標區域空間信息；同時，為了進一步優化空間信息的邊界細節，對局部相似像素的空間信息進行聚合，通過生成的道路全局空間權重與類別標簽進行關聯，提升可行域判別區域定位的精準性。
[0007]為了充分利用可行域局部相似性的外觀特點，本專利技術引入超像素區域級特征提取
方法，通過超像素池化對區域內像素的多尺度特征進行聚合，結合超像素低級結構特征和神經網絡高級語義信息，實現可行域判別表征的有效學習，提升可行域分割的準確性。
[0008]二、根據上述原理，本專利技術通過以下方案實現：
[0009]一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法，包括以下步驟：
[0010](1)獲取數據集與對應標簽，具體包括以下步驟：
[0011](1
?
a)從自動駕駛圖像公開數據集獲取道路圖像作為正樣本，從自然場景圖像公開數據集獲取非道路圖像作為負樣本，組成分類樣本數據集，并制作對應的二分類標簽；
[0012](1
?
b)獲取自動駕駛圖像公開數據集，從其原始標簽中提取出可行域邊界標注信息，制作對應的分割標簽；
[0013](2)訓練集數據處理，具體包括以下步驟：
[0014](2
?
a)對步驟(1
?
a)獲取的數據集圖像縮放后進行隨機裁剪與水平翻轉；
[0015](2
?
b)對步驟(2
?
a)獲取的圖像采取底部裁剪策略，將圖像高度裁剪為m像素大小，其中m為正整數，取值范圍為[20,224]；
[0016](2
?
c)將步驟(2
?
b)獲取的圖像進行歸一化操作；
[0017](3)構建道路分類模型，具體包括以下步驟：
[0018](3
?
a)構建分類基礎網絡，共包括五組卷積層，將步驟(2)得到的訓練集圖像依次經過這五組卷積層，得到高語義特征圖X
c
；第一組卷積層包括一個卷積模塊；第二、三組卷積層各包括三個殘差卷積模塊，每個殘差卷積模塊內包括三個卷積模塊；第四組卷積層包括六個殘差卷積模塊，每個殘差卷積模塊內包括三個卷積模塊；第五組卷積層包括五個膨脹卷積殘差模塊，第一、二、三個膨脹卷積殘差模塊內包括一個卷積模塊和兩個膨脹卷積模塊，第四個和第五個膨脹卷積殘差模塊內包括三個卷積模塊和一個膨脹卷積模塊；
[0019](3
?
b)在步驟(3
?
a)描述的分類基礎網絡之上，增加目標分類模塊，目標分類模塊包括一個全局平均池化模塊和一個1
×
1卷積模塊，將步驟(3
?
a)得到的高語義特征圖X
c
作為目標分類模塊的輸入；全局平均池化模塊的作用是對X
c
各特征通道進行空間信息壓縮，其輸出為特征向量V
c
，1
×
1卷積模塊的作用是進行維度變換，利用分類權重矩陣W將V
c
特征空間映射到類別標簽空間；
[0020](4)訓練道路分類模型：
[0021]利用步驟(2)得到的訓練集數據訓練步驟(3)構建的道路分類模型，使用交叉熵作為分類模型的損失函數得到損失值，并使用隨機梯度下降算法優化分類模型每一層的模型參數，更新分類權重矩陣W，直到損失值不再下降，得到訓練好的道路分類模型；
[0022](5)獲取道路全局空間權重，具體包括以下步驟：
[0023](5
?
a)生成類別空間權重圖，將步驟(1
?
b)獲取的自動駕駛圖像輸入到步驟(4)得到的訓練好的道路分類模型中，自動駕駛圖像通過步驟(3
?
a)構建的分類基礎網絡得到高語義特征圖X
s
，并與步驟(4)中學習到的分類權重矩陣W進行通道加權求和，獲取自動駕駛圖像對于每個類別的類別空間權重圖；該權重圖的作用是提供道路空間先驗信息，獲取圖像中每個空間位置對目標類別的重要程度，其計算公式為：
[0024][0025]其中M
j
表示第j個類別的類別空間權重圖，j＝0，1，表示高語義特征圖X
s
在第 l個通道上的特征圖，表示第j個類別的分類權重矩陣在第l個通道上的權重值；
[0026](5
?
b)對步驟(1
?
b)獲取的自動駕駛圖像進行超像素分割；
[0027](5
?
c)對步驟(5
?
a)獲取的類別空間權重圖進行歸一化操作并上采樣到輸入圖像大小，將步驟(5
?...

【技術保護點】

【技術特征摘要】
1.一種融合道路空間先驗和區域級特征的弱監督車輛可行域分割方法，其特征在于包括以下步驟：(1)獲取數據集與對應標簽，具體包括以下步驟：(1
?
a)從自動駕駛圖像公開數據集獲取道路圖像作為正樣本，從自然場景圖像公開數據集獲取非道路圖像作為負樣本，組成分類樣本數據集，并制作對應的二分類標簽；(1
?
b)獲取自動駕駛圖像公開數據集，從其原始標簽中提取出可行域邊界標注信息，制作對應的分割標簽；(2)訓練集數據處理，具體包括以下步驟：(2
?
a)對步驟(1
?
a)獲取的數據集圖像縮放后進行隨機裁剪與水平翻轉；(2
?
b)對步驟(2
?
a)獲取的圖像采取底部裁剪策略，將圖像高度裁剪為m像素大小，其中m為正整數，取值范圍為[20,224]；(2
?
c)將步驟(2
?
b)獲取的圖像進行歸一化操作；(3)構建道路分類模型，具體包括以下步驟：(3
?
a)構建分類基礎網絡，共包括五組卷積層，將步驟(2)得到的訓練集圖像依次經過這五組卷積層，得到高語義特征圖X
c
；第一組卷積層包括一個卷積模塊；第二、三組卷積層各包括三個殘差卷積模塊，每個殘差卷積模塊內包括三個卷積模塊；第四組卷積層包括六個殘差卷積模塊，每個殘差卷積模塊內包括三個卷積模塊；第五組卷積層包括五個膨脹卷積殘差模塊，第一、二、三個膨脹卷積殘差模塊內包括一個卷積模塊和兩個膨脹卷積模塊，第四個和第五個膨脹卷積殘差模塊內包括三個卷積模塊和一個膨脹卷積模塊；(3
?
b)在步驟(3
?
a)描述的分類基礎網絡之上，增加目標分類模塊，目標分類模塊包括一個全局平均池化模塊和一個1
×
1卷積模塊，將步驟(3
?
a)得到的高語義特征圖X
c
作為目標分類模塊的輸入；全局平均池化模塊的作用是對X
c
各特征通道進行空間信息壓縮，其輸出為特征向量V
c
，1
×
1卷積模塊的作用是進行維度變換，利用分類權重矩陣W將V
c
特征空間映射到類別標簽空間；(4)訓練道路分類模型：利用步驟(2)得到的訓練集數據訓練步驟(3)構建的道路分類模型，使用交叉熵作為分類模型的損失函數得到損失值，并使用隨機梯度下降算法優化分類模型每一層的模型參數，更新分類權重矩陣W，直到損失值不再下降，得到訓練好的道路分類模型；(5)獲取道路全局空間權重，具體包括以下步驟：(5
?
a)生成類別空間權重圖，將步驟(1
?
b)獲取的自動駕駛圖像輸入到步驟(4)得到的訓練好的道路分類模型中，自動駕駛圖像通過步驟(3
?
a)構建的分類基礎網絡得到高語義特征圖X
s
，并與步驟(4)中學習到的分類權重矩陣W進行通道加權求和，獲取自動駕駛圖像對于每個類別的類別空間權重圖；(5
?
b)對步驟(1
?
b)獲取的自動駕駛圖像進行超像素分割；(5
?
c)對步驟(5
?
a)獲取的類別空間權重圖進行歸一化操作并上采樣到輸入圖像大小，將步驟(5
?
b)得到的超像素分割結果映射到可行域類別的類別空間權重圖上，對超像素內部各像素的權重進行平均，獲取道路全局空間權重；(6)提取超像素區域級特征，具體包括以下步驟：(6
?
a)構建特征提取器，其中共包括八組卷積層，步驟(1
?
b)獲取的自動駕駛圖像依次
經過八組卷積層，在第七、八組卷積層分別輸出得到中間特征圖F1、F2；第一組卷積層包括一個卷積塊和一個殘差卷積模塊，第二組卷積層包括一個殘差卷積模塊，第三、四、五、六組卷積層各包括兩個殘差卷積模塊，第七、八組卷積層各包括一個膨脹卷積殘差模塊；其中的所有卷積層中殘差卷積模塊...

【專利技術屬性】
技術研發人員：陽春華，陳佩，趙于前，張帆，余伶俐，
申請(專利權)人：中南大學，
類型：發明
國別省市：