基于目標檢測的焊接機器人全自主視覺引導方法及系統技術方案

本發明專利技術公開了一種基于目標檢測的焊接機器人全自主視覺引導方法及系統，包括：獲取焊接工件RGB圖像和深度信息，利用訓練好的目標檢測模型，得到圖片中所有焊縫以及焊點的二維位置信息，結合深度信息，得到圖片中所有焊縫以及焊點的三維空間坐標；基于所有焊縫的三維空間坐標計算最優的焊接順序，并尋找最短的無碰撞路徑；基于得到的焊接順序和路徑，結合焊縫的三維空間坐標，進行焊接機器人焊接位姿初步調整；激光焊縫跟蹤器找到焊縫后，利用激光焊縫跟蹤器上返回的距離信息，對焊接機器人位姿進行精細調整。本發明專利技術基于圖像識別方法識別所有焊縫的位置，識別準確度提高，保證了焊縫檢測結果的可靠性，避免錯檢、漏檢的情況發生。漏檢的情況發生。漏檢的情況發生。

【技術實現步驟摘要】
基于目標檢測的焊接機器人全自主視覺引導方法及系統


[0001]本專利技術涉及焊接機器人
，尤其涉及一種基于目標檢測的焊接機器人全自主視覺引導方法。

技術介紹

[0002]本部分的陳述僅僅是提供了與本專利技術相關的
技術介紹
信息，不必然構成在先技術。
[0003]目前焊接領域多采用人工焊接或者人工示教焊接的方式進行作業，這兩種方式都離不開人工的直接參與。但因為焊接工作環境惡劣，所需要的焊接技藝越來越復雜，所需要的人工成本也逐年攀高。且人工示教流程繁瑣，需要人工根據焊件尺寸輸入對應信息，調節對應的焊接工藝，需要適合的工裝卡具進行定位，再針對每一條焊縫進行示教，整個過程耗時長，不能夠保證作業效率。
[0004]雖然有智能焊接技術應用于焊接機器人，但智能焊接技術存在焊縫識別不準，識別不全的問題，在面臨復雜工況的時候往往還是需要人為的介入，難以做到完全的自動化、智能化。
[0005]另外，現有的智能焊接方法對于弱觀測條件下的超薄搭接、微小對接等復雜焊縫，感知精度較低。

技術實現思路

[0006]為了解決上述問題，本專利技術提出了一種基于目標檢測的焊接機器人全自主視覺引導方法，能夠利用激光
?
視覺多模融合表征進行弱觀測條件下的焊縫智能識別及定位，從而實現焊接機器人高效動作規劃與糾偏。
[0007]在一些實施方式中，采用如下技術方案：
[0008]一種基于目標檢測的焊接機器人全自主視覺引導方法，包括：
[0009]獲取焊接工件RGB圖像和深度信息，利用訓練好的目標檢測模型，得到圖片中所有焊縫以及焊點的二維位置信息，結合深度信息，得到圖片中所有焊縫以及焊點的三維空間坐標；
[0010]基于所有焊縫的三維空間坐標計算最優的焊接順序，并尋找最短的無碰撞路徑；
[0011]基于得到的焊接順序和路徑，結合焊縫的三維空間坐標，進行焊接機器人焊接位姿初步調整；激光焊縫跟蹤器找到焊縫后，利用激光焊縫跟蹤器上返回的距離信息，對焊接機器人位姿進行精細調整。
[0012]作為進一步的方案，還包括：通過激光焊縫跟蹤器獲取焊縫的起止點位置、角度和焊縫寬度信息，與焊接工藝庫中的信息進行配準，確定焊縫的種類和焊接工藝。
[0013]作為進一步的方案，還包括：在激光焊縫跟蹤器的引導下，控制焊接機器人按照選定的焊接工藝與焊接工件進行焊接。
[0014]作為進一步的方案，所述目標檢測模型的損失函數具體為：
[0015]L
Focal
?
EIOU
＝IOU
γ
L
EIOU
；
[0016][0017]其中，IOU＝|A∩B|/|A∪B|，γ為異常值抑制參數；L
IOU
是重疊損失、L
dis
是中心距離損失、L
asp
是寬高損失；b，b
gt
分別為預測框和真實框的中心點，ρ代表兩個中心點的歐氏距離，w
c
和h
c
是覆蓋兩個Box的最小外接框的寬度和高度。
[0018]作為進一步的方案，基于所有焊縫的三維空間坐標計算最優的焊接順序，具體為：
[0019]將得到的每一條焊縫的兩端看做兩個節點，當前節點與其所屬焊縫的另一節點之間的損失設為零，當前節點與其他節點之間的損失采用歐式距離表示；以總的損失最小為目標，以深度優先的方式搜索解空間，并在搜索過程中使用剪枝函數避免無效搜索以快速獲取焊接順序。
[0020]作為進一步的方案，尋找最短的無碰撞路徑，具體為：
[0021]采用快速擴展隨機樹算法，從當前節點開始，隨機在空間中生成節點，直到到達下一節點；在搜索過程中，引入目標引力函數，使得隨機樹向著目標點生長；所述目標引力函數如下：
[0022][0023]其中，x
goal
為向著目標節點的向量，x
rand
為隨機產生的向量；k
g
為常數。
[0024]作為進一步的方案，進行焊接機器人焊接位姿初步調整，具體過程為：
[0025]分別以焊接機器人移動路徑上的每一個采樣點為中心點，建立三維空間坐標系，沿坐標軸X、Y、Z軸的正負兩個方向分別延伸，確定X、Y、Z軸延伸線與焊接工件的交點；基于X、Y、Z軸的延伸線與焊接工件的交點的數量，確定焊接機器人的當前位姿。
[0026]作為進一步的方案，基于X、Y、Z軸的延伸線與焊接工件的交點的數量，確定焊接機器人的當前位姿，具體包括：
[0027]若X、Y、Z軸的正負方向延伸線與焊接工件交點的數量為一個，則該交點與所述中心點的連線方向為焊接機器人的當前位姿；
[0028]若X、Y、Z軸的正負方向延伸線與焊接工件交點的數量為兩個，則兩個交點的連線過所述中心點的垂線方向為焊接機器人的當前位姿；
[0029]若X、Y、Z軸的正負方向延伸線與焊接工件交點的數量為三個，則三個接觸點組成平面，所述平面過所述中心點的法向量方向為焊接機器人的當前位姿；
[0030]若X、Y、Z軸的正負方向延伸線與焊接工件交點的數量為四個，假設a、b兩個交點同軸，另外兩個交點為c、d；則交點a、b、c組成第一平面，交點a、b、d組成第二平面，第一平面過所述中心點的法向量為α，第二平面過所述中心點的法向量為β，向量α和向量β相加組成的新向量方向即為焊接機器人的當前位姿；
[0031]若X、Y、Z軸的正負方向延伸線與焊接工件交點的數量為五個，分別為a、b、c、d、e；假設a、b兩個交點同軸，c、d兩個交點同軸，則交點e與所述中心點的連線方向即為焊接機器人的當前位姿；
[0032]若X、Y、Z軸的正負方向延伸線與焊接工件交點的數量為六個，停止作業。
[0033]在另一些實施方式中，采用如下技術方案：
[0034]一種基于目標檢測的焊接機器人全自主視覺引導系統，包括：
[0035]焊縫位置獲取模塊，用于獲取焊接工件位置RGB圖像和深度信息，利用訓練好的目標檢測模型，得到圖片中所有焊縫以及焊點的二維位置信息，結合深度信息，得到圖片中所有焊縫以及焊點的三維空間坐標；
[0036]焊接路徑尋優模塊，用于基于所有焊縫的三維空間坐標計算最優的焊接順序，并尋找最短的無碰撞路徑；
[0037]機器人位姿調整模塊基于得到的焊接順序和路徑，結合焊縫的三維空間坐標，進行焊接機器人焊接位姿初步調整；激光焊縫跟蹤器找到焊縫后，利用激光焊縫跟蹤器上返回的距離信息，對焊接機器人位姿進行精細調整。
[0038]在另一些實施方式中，采用如下技術方案：
[0039]一種焊接機器人，包括：焊接機械臂和控制器，焊接機械臂上分別設有相機和焊縫跟蹤器，所述控制器用于執行上述的基于目標檢測的焊接機器人全自主視覺引導方法。
[0040]與現有技術相比，本專利技術的有益效果是：
[0041](1)本專利技術基于圖像識別方法識別所有焊縫的位置，識別準本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于目標檢測的焊接機器人全自主視覺引導方法，其特征在于，包括：獲取焊接工件RGB圖像和深度信息，利用訓練好的目標檢測模型，得到圖片中所有焊縫以及焊點的二維位置信息，結合深度信息，得到圖片中所有焊縫以及焊點的三維空間坐標；基于所有焊縫的三維空間坐標計算最優的焊接順序，并尋找最短的無碰撞路徑；基于得到的焊接順序和路徑，結合焊縫的三維空間坐標，進行焊接機器人焊接位姿初步調整；激光焊縫跟蹤器找到焊縫后，利用激光焊縫跟蹤器上返回的距離信息，對焊接機器人位姿進行精細調整。2.如權利要求1所述的一種基于目標檢測的焊接機器人全自主視覺引導方法，其特征在于，還包括：通過激光焊縫跟蹤器獲取焊縫的起止點位置、角度和焊縫寬度信息，與焊接工藝庫中的信息進行配準，確定焊縫的種類和焊接工藝。3.如權利要求2所述的一種基于目標檢測的焊接機器人全自主視覺引導方法，其特征在于，還包括：在激光焊縫跟蹤器的引導下，控制焊接機器人按照選定的焊接工藝與焊接工件進行焊接。4.如權利要求1所述的一種基于目標檢測的焊接機器人全自主視覺引導方法，其特征在于，所述目標檢測模型的損失函數具體為：L
Focal
?
EIOU
＝IOU
γ
L
EIOU
；其中，IOU＝|A∩B|/|A∪B|，γ為異常值抑制參數；L
IOU
是重疊損失、L
dis
是中心距離損失、L
asp
是寬高損失；b，b
gt
分別為預測框和真實框的中心點，ρ代表兩個中心點的歐氏距離，w
c
和h
c
是覆蓋兩個Box的最小外接框的寬度和高度。5.如權利要求1所述的一種基于目標檢測的焊接機器人全自主視覺引導方法，其特征在于，基于所有焊縫的三維空間坐標計算最優的焊接順序，具體為：將得到的每一條焊縫的兩端看做兩個節點，當前節點與其所屬焊縫的另一節點之間的損失設為零，當前節點與其他節點之間的損失采用歐式距離表示；以總的損失最小為目標，以深度優先的方式搜索解空間，并在搜索過程中使用剪枝函數避免無效搜索以快速獲取焊接順序。6.如權利要求5所述的一種基于目標檢測的焊接機器人全自主視覺引導方法，其特征在于，尋找最短的無碰撞路徑，具體為：采用快速擴展隨機樹算法，從當前節點開始，隨機在空間中生成節點，直到到達下一節點；在搜索過程中，引入目標引力函數，使得隨機樹向著目標點生長；所述目標引力函數如下：其中，x
goal
為向著目標節點的向量，x
rand

【專利技術屬性】
技術研發人員：張偉，程吉禹，魏鵬坤，宋然，張光先，楊碩，張一鵬，王軍峰，李昊，張秀珊，
申請(專利權)人：山東奧太電氣有限公司，
類型：發明
國別省市：