一種基于深度卷積神經網絡的工業機械臂視覺控制方法技術

本發明專利技術公開了一種基于深度卷積神經網絡的工業機械臂視覺控制方法，包括步驟：1)目標物體視覺信息采集與預處理；2)訓練與調整深度卷積神經網絡模型；3)驗證模型與保存模型。本發明專利技術結合深度卷積神經網絡提取不同姿態的目標物體的理想抓取位置，提升了系統能夠適用的范圍，從而克服了傳統視覺控制發放識別特定目標物體差問題，有效簡化工業機械臂的使用難度，為工業機械臂控制提供新的方法，具備良好的擴展性。

Vision control method of industrial robot arm based on depth convolution neural network

The invention discloses an industrial robot visual control method, deep convolutional neural network includes the steps of: 1) the target object based on visual information acquisition and processing; 2) training and adjust the depth of convolutional neural network model; 3) to validate the model and storage model. Grab the ideal position of the object from different pose of the invention combines deep convolutional neural network, the system can enhance the scope of application, so as to overcome the traditional visual control issue special target recognition problem of the difference between objects, simplify the robot arm's difficulty, for the industrial manipulator control to provide a new method and has good scalability.

【技術實現步驟摘要】
一種基于深度卷積神經網絡的工業機械臂視覺控制方法
本專利技術涉及工業機械臂領域，尤其是指一種基于深度卷積神經網絡的工業機械臂視覺控制方法。
技術介紹
在工業生產中，工業機械臂可以替代人力進行簡單和重復性的工作，例如：拾取、組裝、焊接、包裝、敲打、剪切、打磨、拖拽等生產操作。特別是在危險、惡劣的作業環境下使用機器人技術降低潛在的安全風險。研究機器人技術是實現智能制造，降低企業生產成本的重要的途徑。“運動規劃”和“任務確定”是工業機械臂的關鍵的兩類技術。“運動規劃”可以分為路徑規劃(pathplanning)和軌跡生成(trajectorygeneration)兩部分。路徑規劃的目的是為工業機械臂找到一系列無干涉、并能成功完成任務的路徑點，這些路徑點可以是三維空間中的坐標，或者關節角度，路徑規劃即為工業機械臂確定工作過程中需要經過的特定位置的集合；軌跡生成負責為工業機械臂生成一系列在運動上連續的參考點和附加信息，軌跡生成即確定工業機械臂以何種方式、速度通過路徑規劃生成的路徑點集合。“任務確定”是研究和解決工業機械臂如何識別目標物體。工業機械臂需要能夠識別目標物體，然后才能進行后續生產操作。目前這部分存在很大缺陷，現有的工業機械臂需要要求物件出現在固定的空間三維坐標位置上。工業機械臂再從這個位置針對不同作業對物件進行具體操作。目前在傳統工業機器人上的控制技術(正逆運動學，正逆動力學，軌跡規劃，參數辨識，誤差補償等)在理論上已經非常成熟了，只要給定目標坐標，就能配合多種方法進行軌跡規劃獲取一條適當的運動路徑和運動過程中的動力輸出配置。目前生產上的工業機械臂使用方式有以下幾種：1.拖動示教：即通過拖動工業機器人來教會工業機器人按照固定的軌跡進行工作，使用上十分簡單，但是面對復雜工作不能很好的進行規劃，而且這種拖動方式需要人來進行，工業機器人存在一定危險性。2.外部示教：利用手：勢傳感器來操作機器人，讓機器人模仿手的運動。但是問題在于這些傳感器的精度不高，短期內無法用于工業生產。3.語音示教：利用預定義的語音指令來操縱工業機器人運動，存在問題是可操作精度差，不能很好的進行精細的工作。4.編程示教：即利用工業機器人的示教盒進行編程控制工業機器人的運轉，這需要工廠中有熟悉機器人的使用人員。以上的4種工業機器人使用方式都存在的缺點的是，工業機器人需要按照預定義的程序運轉，需要專業人員進行維護，并且應用到新任務中的復雜度高。部署和實施上的困難在很大程度上限制了機器人產業的反展。給定目標物體信息，工業機械臂便可完成相應生產操作，但是如何確定目標物體是應用的一大難題。因此亟需一種智能的能夠自動識別目標物體的算法用于控制工業機械臂，降低工業機械臂的應用成本。
技術實現思路
本專利技術的目的在于克服現有工業機械臂視覺控制技術自動化水平與智能化層度低，提出了一種基于深度卷積神經網絡的工業機械臂視覺控制方法，該方法考慮了工業機械臂相對穩定的室內工作環境要求，克服通過重復性編程控制工業機器人的缺點；結合機器學習與機器視覺，利用仿生物視覺方法的深度卷積神經網絡的提取目標零件的能力，提升工業機械臂視覺系統識別目標零件的準確度，優化工業機械臂的使用和加速工業機械臂在生產中的應用。為實現上述目的，本專利技術所提供的技術方案為：一種基于深度卷積神經網絡的工業機械臂視覺控制方法，具體包含以下步驟：1)目標物體視覺信息采集與預處理將目標物體放置于工作臺上，利用CCD照像機采集目標物體圖像的顏色信息圖片和深度信息，以及進行人工標注理想抓取位姿點。2)訓練與調整深度卷積神經網絡模型利用步驟1)中采集的目標物體對預設深度神經網絡進行，得到目標物體模型高層次特征表達，得到預訓練的深度卷積神經網絡模型，并利用一組測試數據調整和測試預訓練的深度卷積神經網絡模型的準確率。3)驗證模型與保存模型將CCD照像機采集新的目標物體圖像的樣本作為步驟2)得到的深度卷積神經網絡的輸入，得到目標物體上的理想抓取位置，以此位置作為目標點，控制機械臂進行抓取操作。在步驟1)中，目的是充分獲取到目標物體的視覺信息表示以及標注理想抓取位置，利用CCD照相機采集目標物體視覺信息。具體要求為采集在工作臺上不同姿態，不同位置，不同方向的目標物體視覺信息圖片，這樣才能充分表示在多種情況下目標物體的實際分布。目標物體可以有多種，比如電子零件、剪刀、水杯、手機天線等物體。在工廠實際加工中生產線上需要加工的多類別的。采集生產線上需要加工的多種目標物體的視覺信息圖像樣本可使訓練后的深度卷積神經網絡具備識別多種目標物體抓取位置的能力。規整采集到的目標物體圖像大小為248×248像素。人工使用方框標注目標物體的理想抓取位置，即工業機械臂家具需要運動到此區域才能完成成功的抓取。目標物體的理想抓取位置可能存在多個，便可以多次標注，以5元組的形式表示標注的理想抓取位置：(抓取中心x坐標，抓取中心y坐標，方框長度，方框高度，方框與水平方向的夾角)，其中夾角用弧度制表示。標注的多個抓取點，其重要性不同，對于規則的目標物體，工業機械臂抓取的成功概率是越接近目標物體中心的抓取成功率越高。由此需要對采集的圖像進行二值化，然后按照高斯分布以目標物體中心產生對目標物體圖像產生抓取可能性描述，抓取成功可能性是有(0，1)區間表示的概率，其中目標物體中心點的抓取可能性設為1，目標物體的邊界抓取可能性設為0。對人工標準的5元組集合進行添加上抓取成功可能性屬性即最終得到關于抓取位置的6元組(抓取成功可能性，抓取中心x坐標，抓取中心y坐標，方框長度，方框高度，方框與水平方向的夾角)。由此，訓練深度卷積神經網絡所需要的目標物體視覺信息圖像樣本和標注信息已經完備。在步驟2)中，本專利技術采用深度卷積神經網絡對工作臺上的目標物體的理想抓取點進行識別從而控制工業機械臂進行抓取等工業加工處理操作，具體實現為如下：在深度卷積神經網絡中主要包括卷積運算操作層、下采樣層、激活層(在本專利技術中使用的是修正線性單元函數)以及全連接層(一般用于深度卷積網絡的最后一層，得出深度卷積網絡的預測結果)。卷積運算操作層相對于傳統的神經網絡中的層減少了層中權重參數的數量。卷積運算操作層通過令每個神經元與下一層的若干個局部區域相連接。將目標物體視覺信息圖像(長、寬固定)輸入到卷積運算層中，計算權重和局部區域圖像像素值的內積，卷積運算后的輸出y與卷積核w、卷積前的輸入x關系如下：其中yj是卷積后輸出向量中的元素，xi是與yj對應的卷積前輸入的局部區域中的像素，從而提取局部區域的特征結果信息，在整幅圖像上滑動的重復計算這個過程，提取得到整幅圖像關于此權重向量的特征結果信息，這部分權重值組成的向量稱為卷積核或過濾器。過濾器能夠提取出目標物體圖像的部分特征信息，當過濾器與局部區域圖像像素進行內積操作時，存在特征內積輸出展現為激活狀態。經過卷積運算操作后就能得到新的目標物體的二維表示，在單個卷積運算操作層中應用若干過濾器提取目標物體若干新的二維表示，其中過濾器相對應的特征的表達結果保留在新的二維表示中，在訓練過程中，會根據神經網絡預測結果與真實結果的誤差，通過反向計算最終誤差對每一層的參數的導數(即誤差函數的梯度方向)對卷積核進行修正，從而使網絡能夠學習導目標物體理想抓取位置的特征。本文檔來自技高網...

【技術保護點】
一種基于深度卷積神經網絡的工業機械臂視覺控制方法，其特征在于，包括以下步驟：1)目標物體視覺信息采集與預處理將目標物體放置于工作臺上，利用CCD照像機采集目標物體圖像的顏色信息圖片和深度信息，以及進行人工標注理想抓取位姿點；2)訓練與調整深度卷積神經網絡模型利用步驟1)中采集的目標物體對預設深度神經網絡進行，得到目標物體模型高層次特征表達，得到預訓練的深度卷積神經網絡模型，并利用一組測試數據調整和測試預訓練的深度卷積神經網絡模型的準確率；3)驗證模型與保存模型將CCD照像機采集新的目標物體圖像的樣本作為步驟2)得到的深度卷積神經網絡的輸入，得到目標物體上的理想抓取位置，以此位置作為目標點，控制機械臂進行抓取操作。

【技術特征摘要】
1.一種基于深度卷積神經網絡的工業機械臂視覺控制方法，其特征在于，包括以下步驟：1)目標物體視覺信息采集與預處理將目標物體放置于工作臺上，利用CCD照像機采集目標物體圖像的顏色信息圖片和深度信息，以及進行人工標注理想抓取位姿點；2)訓練與調整深度卷積神經網絡模型利用步驟1)中采集的目標物體對預設深度神經網絡進行，得到目標物體模型高層次特征表達，得到預訓練的深度卷積神經網絡模型，并利用一組測試數據調整和測試預訓練的深度卷積神經網絡模型的準確率；3)驗證模型與保存模型將CCD照像機采集新的目標物體圖像的樣本作為步驟2)得到的深度卷積神經網絡的輸入，得到目標物體上的理想抓取位置，以此位置作為目標點，控制機械臂進行抓取操作。2.根據權利要求1所述的一種基于深度卷積神經網絡的工業機械臂視覺控制方法，其特征在于：在步驟1)中，獲取目標物體的視覺信息表示以及標注理想抓取位置，利用CCD照相機采集目標物體視覺信息，具體要求為：采集在工作臺上不同姿態，不同位置，不同方向的目標物體視覺信息圖片，以充分表示在多種情況下目標物體的實際分布；目標物體有多種，采集多種目標物體的視覺信息圖像樣本能夠使訓練后的深度卷積神經網絡具備識別多種目標物體抓取位置的能力；規整采集到的目標物體圖像大小為248×248像素，人工使用方框標注目標物體的理想抓取位置，即工業機械臂家具需要運動到此區域才能完成成功的抓取；以5元組的形式表示標注的理想抓取位置：抓取中心x坐標、抓取中心y坐標、方框長度、方框高度、方框與水平方向的夾角，其中夾角用弧度制表示；標注的多個抓取點，其重要性不同，對于規則的目標物體，工業機械臂抓取的成功概率是越接近目標物體中心的抓取成功率越高；由此需要對采集的圖像進行二值化，然后按照高斯分布以目標物體中心產生對目標物體圖像產生抓取可能性描述，抓取成功可能性是有(0，1)區間表示的概率，其中目標物體中心點的抓取可能性設為1，目標物體的邊界抓取可能性設為0；對人工標準的5元組集合進行添加上抓取成功可能性屬性即最終得到關于抓取位置的6元組：抓取成功可能性、抓取中心x坐標、抓取中心y坐標、方框長度、方框高度、方框與水平方向的夾角。3.根據權利要求1所述的一種基于深度卷積神經網絡的工業機械臂視覺控制方法，其特征在于：在步驟2)中，采用深度卷積神經網絡對工作臺上的目標物體的理想抓取點進行識別從而控制工業機械臂進行抓取等工業加工處理操作，具體實現為如下：在深度卷積神經網絡中主要包括卷積運算操作層、下采樣層、激活層以及全連接層；其中在激活層中使用的是修正線性單元函數，全連接層用于深度卷積網絡的最后一層，得出深度卷積網絡的預測結果；卷積運算操作層通過令每個神經元與下一層的若干個局部區域相連接，將目標物體視覺信息圖像輸入到卷積運算層中，計算權重和局部區域圖像像素值的內積，卷積運算后的輸出y與卷積核w、卷積前的輸入x關系如下：其中yj是卷積后輸出向量中的元素，xi是與yj對應的卷積前輸入的局部區域中的像素，從而提取局部區域的特征結果信息，在整幅圖像上滑動的重復計算這個過程，提取得到整幅圖像關于此權重向量的特征結果信息，這部分權重值組成的向量稱為卷積核或過濾器；過濾器能夠提取出目標物體圖像的部分特征信息，當過濾器與局部區域圖像像素進行內積操作時，存在特征內積輸出展現為激活狀態；經過卷積運算操作后就能得到新的目標物體的二維表示，在單個卷積運算操作層中應用若干過濾器提取目標物體若干新的二維表示，其中過濾器相對應的特征的表達結果保留在新的二維表示中，在訓練過程中，根據神經網絡預測結果與真實結果的誤差，通過反向計算最終誤差對每一層的參數的導數即誤差函數的梯度方向對卷積核進行修正，從而使網絡能夠學習導目標物體理想抓取位置的特征；在卷積運算操作層中，每一層的神經元僅與上一層的局部區域相連接，前一層的以滑動窗口的方式對內積和像素值進行內積操作；在內積操作中，僅窗口中的目標物體圖像像素值參與內積運算；滑動方式是每次窗口向右移動若干單位的像素即使得窗口覆蓋新的局部區域，若以到達目標物體圖像的右邊界，則移動窗口回到目標圖像的左邊界，并將窗口向下移動若干單位的像素；此窗口即為過濾器或卷積核，其具有長度和寬度即具有長×寬的像素大小的區域；上述運算提取出目標物體圖像具有過濾器所表示特征的過濾結果；在實際應用中，過濾器的長、寬、數量屬于超參數，需要手動設置；通過這樣的方式，過濾器減少了卷積操作層中需要的參數數量，實現了層中參數共享的作用；下采樣層，也即池化層，經過卷積運算操作層后，得到的目標物體新的二維表示仍然存在維度過高的情形，維數過多使得訓練難度增加，容易使得深度卷積網絡產生過擬合現象，需要通過下采樣方法降低新的二維表示的數據維度；下采樣的方法是對圖像數據中不同位置的特征進行聚合統計，具體是：將目標物體新的二維表示分割成大小相同的若干的小區域，以此小區域的統計特征表示該區域，從而使得數據的維度降低；通常卷積運算操作層和下采樣層合并認為是一層。4.根據權利要求3所述的一種基于深度卷積神經網絡的工業機械臂視覺控制方法，其特征在于：所述深度卷積神經網絡由5個卷積層、3個下采樣層、2個全連接層以及一個DropOut層組合而成，最終輸出的是一個6元組描述的抓取位置點，包含抓取位置的信息，其具體形式即步驟1)中處理后的標注信息：抓取成功可能性、抓取中心x坐標、抓取中心...

【專利技術屬性】
技術研發人員：皮思遠，肖南峰，
申請(專利權)人：華南理工大學，
類型：發明
國別省市：廣東,44