本發明專利技術公開了一種基于三維點云與光學影像融合的作業車監測系統，它包括三維點云和圖像數據采集模塊采集三維點云數據和圖像數據；三維點云目標檢測模塊根據三維點云數據，構建三維點云檢測模型，獲取三維點云目標檢測框；圖像目標檢測模塊根據圖像數據，構建圖像檢測模型，獲取圖像檢測框；相機內外參數標定模塊對相機進行內外參數標定，并獲取相機的畸變參數；三維點云與相機聯合標定模塊對相機與激光雷達之間的外參數進行標定，對三維點云數據和圖像數據進行對象化處理；三維點云與光學影像融合檢測模塊將三維點云目標檢測框投影至圖像坐標系得到三維點云投影檢測框，并與圖像檢測框進行融合。本發明專利技術能夠提高近電作業現場作業效率和安全性。
1、本專利技術屬于輸變電智能運維領域，近電作業作為輸變電工程現場的常規作業手段，其安全風險防范是現場安全管控工作的重點。吊裝作業是輸變電運維檢修中的高危風險作業方法，作業車與帶電體的安全距離是防范現場安全風險的關鍵因素，而影響安全距離監測的主要因素是作業車和帶電體的檢測。車輛在作業的過程中從不同路徑進入帶電區域，受到視角干擾無法準確定位機械臂擺動過程中與就近帶電體的安全范圍。當吊臂進入帶電安全距離范圍作業時，可能因為安全距離不足而發生觸電，輕則引發大面積停電事故，重則發生人員傷亡事故；電力工程現場屬于高電磁干擾環境，常用的比如紅外和超聲波測距手段往往無法正常使用，激光測距具備非接觸、高抗電磁干擾的特點。因此，通過三維激光點云實時監測作業車位置具有重要的實際意義。
>5、圖像目標檢測模塊用于根據獲取的所述圖像數據，構建作業車圖像檢測模型，利用作業車圖像檢測模型獲取作業車圖像檢測框；6、相機內外參數標定模塊用于對采集圖像數據所用到的相機，進行相機內外參數標定，并獲取相機的畸變參數；
7、三維點云與相機聯合標定模塊用于根據相機內外參數與畸變參數對相機與激光雷達之間的外參數進行標定，根據相機與激光雷達之間的外參數和相機的內參數對三維點云數據和圖像數據進行對象化處理；
8、三維點云與光學影像融合檢測模塊用于基于對象化處理后的三維點云數據和圖像數據，將作業車三維點云目標檢測框投影至圖像坐標系得到作業車三維點云投影檢測框，通過計算交并比和中心點距離，在圖像坐標系中將作業車三維點云投影檢測框與作業車圖像檢測框進行融合。
9、優選的，所述三維點云數據按a％的訓練集和b％的驗證集進行劃分，所述圖像數據按a％的訓練集和b％的驗證集進行劃分。
10、優選的，構建作業車三維點云檢測模型，利用作業車三維點云檢測模型獲取作業車三維點云目標檢測框，通過作業車三維點云目標檢測框得到作業車的類別、作業車在三維空間的坐標位置以及物理尺寸信息的具體方法為：
11、所述作業車三維點云檢測模型為se-ssd模型，數據增強模塊將三維點云數據的訓練集輸入至se-ssd模型，通過將真值邊界框中心與網格頂點連接，將作業車目標點分成多個子集，并對多個子集進行隨機交換、稀疏和丟失操作；
12、卷積模塊用于將三維點云數據的訓練集和進行隨機交換、稀疏和丟失操作后的訓練集輸入到卷積模塊中，提取三維點云數據中作業車的空間語義特征；
13、生成對抗模塊通過同時訓練student和teacher網絡模型，基于提取的三維點云數據中作業車的空間語義特征進行作業車三維點云目標檢測，輸出作業車的類別、作業車在三維空間的坐標位置以及物理尺寸信息。
14、優選的，構建作業車圖像檢測模型，利用作業車圖像檢測模型獲取作業車圖像檢測框，通過作業車圖像檢測框得到作業車的類別、中心點像素坐標以及作業車圖像檢測框的長寬尺寸信息的具體方法為：
15、所述作業車圖像檢測模型為yolox模型，數據預處理模塊將作業車圖像數據的訓練集輸入yolox模型，對訓練數據進行馬賽克數據增強，通過隨機縮放、隨機裁剪和隨機排布的方式對增強后圖像進行拼接；
16、特征提取模塊用于提取經過拼接后的圖像數據中作業車的空間語義特征；
17、多尺度特征融合模塊將提取的圖像數據中作業車的空間語義特征作為輸入，通過多個池化核融合不同感受野的特征圖；
18、頭網絡模塊將融合后的不同感受野的特征圖作為輸入，進行分類和回歸操作，從而得到作業車的類別、中心點像素坐標以及作業車圖像檢測框的長寬尺寸信息。
19、優選的，對相機內外參數進行標定的方法包括：使用opencv采集標定圖，并采用matlab工具箱進行相機標定實驗，獲得相機的內參矩陣、畸變向量、外參矩陣；
20、對相機內外參數進行標定的具體過程為：
21、設內參數為(fx,fy,cx,cy)、畸變參數為(k1,k2,p1,p2,k3)；
22、其中，fx表示相機在水平方向的焦距，fy表示相機在垂直方向的焦距，cx表示相機光軸在圖像坐標系水平方向的偏移量，cy表示相機光軸在圖像坐標系垂直方向的偏移量；k1為第一徑向畸變參數、k2為第二徑向畸變參數、k3為畸變校正參數；p1為第一切向畸變參數、p2為第二切向畸變參數；
23、選取a×b的棋盤格標定板，其中每個黑和白方格的真實物理邊長為cmm；
24、使用python編寫的腳本控制相機采集圖片，通過不斷移動棋盤格標定板，重復拍攝d張，選取n張變化明顯的圖像用于標定實驗，相機拍攝過程中同時采用激光雷達采集相應的點云數據；
25、打開matlab?camera?calibrator工具箱，將待標定的圖像導入，并對每張圖像進行角點檢測；根據張正友棋盤標定法求解出相機的內、外參數，并加入畸變模型和采用最大似然估計方法優化標定參數；最后得到相機內、外參數標定結果。
26、優選的，根據相機內外參數與畸變參數對相機與激光雷達之間的外參數進行標定，根據相機與激光雷達之間的外參數和相機的內參數對三維點云數據和圖像數據進行對象化處理的具體方法為：
27、在激光雷達坐標系中，將物體與激光雷達的相對位置表示為[xl，yl，zl]，其中原點為激光雷達幾何中心，xl軸水平向前，yl軸水平向左，yl軸豎直向上，符合右手坐標系規則；相機坐標系中，物體與相機的相對位置表示為[xc，yc，zc]，其中原點為相機光心o點，xc軸與x軸平行，yc軸與y軸平行，zc軸與攝像機光軸平行，與圖像平面垂直，圖像坐標系表示為[x,y]，其中原點為相機主點，x軸與u軸平行，y軸與v軸平行；像素坐標系表示為[u,v]，其中原點為圖像左上角，u軸水平向右，v軸豎直向下；
28、其中激光雷達坐標系到相機坐標系的轉換公式如下：
29、
30、相機坐標系到圖像坐標系的轉換公式如下，其中相機坐標系的z軸，與圖像坐標系的z軸同方向：
31、
32、圖像坐標系到像素坐標系的轉換公式如下：
33、
34、激光雷達坐標系下點pl與其像素投影點pi之間的轉換關系公式為:
本文檔來自技高網...
【技術保護點】
1.一種基于三維點云與光學影像融合的作業車監測系統，其特征在于，它包括：
2.根據權利要求1所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：所述三維點云數據按A％的訓練集和B％的驗證集進行劃分，所述圖像數據按A％的訓練集和B％的驗證集進行劃分。
3.根據權利要求2所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：構建作業車三維點云檢測模型，利用作業車三維點云檢測模型獲取作業車三維點云目標檢測框，通過作業車三維點云目標檢測框得到作業車的類別、作業車在三維空間的坐標位置以及物理尺寸信息的具體方法為：
4.根據權利要求1所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：構建作業車圖像檢測模型，利用作業車圖像檢測模型獲取作業車圖像檢測框，通過作業車圖像檢測框得到作業車的類別、中心點像素坐標以及作業車圖像檢測框的長寬尺寸信息的具體方法為：
5.根據權利要求1所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：對相機內外參數進行標定的方法包括：使用OpenCV采集標定圖，并采用MATLAB工具箱進行相機標定實驗，獲得相機的內參矩陣、畸變向量、外參矩陣；
6.根據權利要求5所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：根據相機內外參數與畸變參數對相機與激光雷達之間的外參數進行標定，根據相機與激光雷達之間的外參數和相機的內參數對三維點云數據和圖像數據進行對象化處理的具體方法為：
7.根據權利要求6所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：作業車三維點云目標檢測框投影至圖像坐標系的具體方法為：
8.根據權利要求7所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：通過計算交并比和中心點距離，在圖像坐標系中將作業車三維點云投影檢測框與作業車圖像檢測框進行融合的具體方法為：
9.一種基于三維點云與光學影像融合的作業車監測方法，其特征在于，它如下步驟：
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求9中所述方法的步驟。
...
【技術特征摘要】
1.一種基于三維點云與光學影像融合的作業車監測系統，其特征在于，它包括：
2.根據權利要求1所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：所述三維點云數據按a％的訓練集和b％的驗證集進行劃分，所述圖像數據按a％的訓練集和b％的驗證集進行劃分。
3.根據權利要求2所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：構建作業車三維點云檢測模型，利用作業車三維點云檢測模型獲取作業車三維點云目標檢測框，通過作業車三維點云目標檢測框得到作業車的類別、作業車在三維空間的坐標位置以及物理尺寸信息的具體方法為：
4.根據權利要求1所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：構建作業車圖像檢測模型，利用作業車圖像檢測模型獲取作業車圖像檢測框，通過作業車圖像檢測框得到作業車的類別、中心點像素坐標以及作業車圖像檢測框的長寬尺寸信息的具體方法為：
5.根據權利要求1所述的基于三維點云與光學影像融合的作業車監測系統，其特征在于：對相機內外參數進行標定的方法包...
【專利技術屬性】
技術研發人員：李振，謝濤，程國然，盧金寶，張立成，張玉輝，劉赟，魏恒，盧崢嶸，范鵬，趙淳，彭朝亮，吳啟瑞，沈厚明，
申請(專利權)人：國網新疆電力有限公司超高壓分公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。