一種蘋果套袋機器人視覺定位方法技術

本發明專利技術涉及一種機器人的視覺定位方法，更具體地，涉及基于機器視覺的蘋果套袋機器人視覺定位系統及方法。該方法可以對蘋果幼果進行準確的圖像處理與分析，通過算法快速的對蘋果幼果進行準確定位，確定幼果的精確位置，引導機械臂完成套袋工作。本發明專利技術的方法組成有硬件和軟件兩個部分，其中的硬件包括圖像采集裝置、存儲裝置、處理器、控制器；軟件部分包括圖像處理程序與定位程序。本發明專利技術的方法是由ROI提取、灰度化、圖像增強、圖像分割、相機標定、圖像極線校正、圖像的特征提取和匹配以及圖像的三維重建來實現的。?

【技術實現步驟摘要】

本專利技術涉及一種機器人的視覺定位系統，更具體地，涉及基于機器視覺的蘋果套袋機器人精準定位系統的組成及其實現方法。
技術介紹
隨著我國整體農業科技水平和高技術產業的高速發展，人工智能和機器視覺等新型技術在農業機械中的應用研究得到了高度重視。由于當今勞動資源的逐步短缺，國家十分重視農業機器人的研究，而機器人視覺的研究是農業機器人研究的一個重要內容之一，所以設計一種視覺精準定位系統引導機器人工作成為了一項非常緊迫的任務。國內也有一部分人針對此問題進行了研究并取得了一定的成果，目前研制的視覺定位系統絕大多數是對前景顏色和背景顏色具有較大差異的圖像進行處理實現定位的，而這樣的視覺定位系統局限性很強，結構復雜，魯棒性低。當環境改變，圖像的前景和背景顏色差異較小時就很難進行準確的定位。而在現實環境中，天氣的變化，光照的變化等多方面的不利條件的影響總是存在的，相比以上方法的不足，設計一種能克服已有系統的不足之處以及能適應環境變化的視覺定位系統顯得尤為重要，尤其是針對那些前后背景差異較小的情況下能進行精準定位的系統。
技術實現思路
本專利技術的目的是提供，提高了工作效率、減少操作工人，降低生產成本。采用的技術方案是: 一種蘋果套袋機器人 視覺定位方法，由硬件和軟件兩部分組成。硬件部分包括蘋果幼果圖像采集裝置、存儲裝置、處理器和控制器。處理器可選用微機或單板機。蘋果幼果圖像采集裝置用來在遠景處對果樹及蘋果幼果進行圖像采集，需要模擬人類的眼睛，因此選用二臺工業CXD攝像機(雙目攝像機)，并裝設在蘋果套袋機器人的設定位置上，二臺工業CXD攝像機將采集到的圖像信息輸送到存儲裝置。存儲裝置用來存儲蘋果幼果圖像采集裝置采集的圖像，還用來存儲圖像處理程序的處理結果及系統運行的實時數據記錄等。所述軟件部分包括圖像處理程序和定位程序。所述的軟件部分中圖像處理程序是用來對從存儲裝置中讀取的圖像進行預處理的。所述的軟件部分中定位程序是用來對預處理后的圖像提取目標并進行精準定位的。本專利技術的一種基于機器視覺的蘋果套袋機器人視覺定位方法，包括如下步驟: I)用工業CXD雙目攝像機對蘋果樹及蘋果幼果進行采集，得到整體圖像后，將左目和右目采集到的圖像分別存儲在存儲裝置中，并從存儲裝置中讀取出這兩幅圖像；2)對讀取的左目和右目兩幅圖像分別進行預處理，提取出感興趣的部分(ROI)，判斷圖像中是否有蘋果幼果，如果沒有就調整攝像頭的位置，返回步驟I )，如果有將其分割提取出來后進入步驟3)； 3)對相機進行標定后對目標體匹配，以及去除誤匹配，匹配成功，則進入步驟4)，否則進入2)； 4)對匹配好的目標體進行三維重建，最后確定目標體在圖像中的位置以及獲取準確的三維坐標； 5)將獲取的位置與坐標信息傳輸給處理器，處理器再將處理后的數據傳輸給機械臂控制系統，并求取運動學逆解，從而引導機械臂完成套袋動作。進一步，所述步驟2)具體包括如下幾個步驟: 21)對圖像進行預處理并提取出ROI； 22)判斷是否有蘋果幼果并分割； 進一步，所述步驟3)具體包括如下幾個步驟: 31)對雙目攝像機進行標定； 32)對兩幅圖像進行極線校正； 33)特征提取與匹配； 進一步，所述步驟4)具體包括如下: 41)對目標體進行三維重建； 42)獲取目標體位置與三維坐標； 進一步，所述步驟21)具體包括如下幾個步驟: 211)對圖像進行灰度處理； 212)對圖像進行增強處理； 213)對圖像進行二值化處理； 214)對圖像進行形態學運算； 進一步，所述步驟22)具體為: 本專利技術中判斷是否有蘋果幼果是基于圓形度概念進行的，所謂的圓形度就是用于特征的提取與描述，其計算公式的描述為:權利要求1.，采用本方法完成蘋果套袋視覺定位，包括硬件和軟件兩部分； 硬件部分包括蘋果幼果圖像采集裝置、存儲裝置、處理器和控制器；蘋果幼果圖像采集裝置為工業C⑶雙目攝像機，裝設在蘋果套袋機器人的設定位置上； 軟件部分包括圖像處理程序和定位程序，圖像處理程序包括ROI提取，灰度化，圖像增強和圖像分割；定位程序包括攝像機標定，極線校正，特征提取與匹配和三維重建；圖像處理程序用于將從存儲裝置中讀取的圖像進行預處理，定位程序用來對預處理后的圖像提取目標并進行精確定位；其特征在于蘋果套袋機器人視覺定位包括下述步驟: 1)用工業C⑶雙目攝像機對蘋果樹及蘋果幼果進行采集，得到整體圖像后，將左目和右目采集到的圖像分別存儲在存儲裝置中，并從存儲裝置中讀取出這兩幅圖像； 2)對讀取的左目和右目兩幅圖像分別進行預處理，提取出感興趣的部分R0I，判斷圖像中是否有蘋果幼果，如果沒有就調整攝像頭的位置，返回步驟I)，如果有則將其分割提取出來后進入步驟3)； 3)對相機進行標定后對目標體匹配，以及去除誤匹配，匹配成功，則進入步驟4)，否則進入2)； 4)對匹配好的目標體進行三維重建，最后確定目標體在圖像中的位置以及獲取準確的三維坐標； 5)將獲取的位置與坐標信息傳輸給處理器，處理器再將處理后的數據傳輸給機械臂控制系統，并求取運動學逆解，從而引導機械臂完成套袋動作； 進一步，所述步驟2)具體包括如下幾個步驟: 21)對圖像進行預處理并提取出ROI； 22)判斷是否有蘋果幼果并分割； 進一步，所述步驟3)具體包括如下幾個步驟: 31)對雙目攝像機進行標定； 32)對兩幅圖像進行極線校正； 33)特征提取與匹配； 進一步，所述步驟4)具體包括如下: 41)對目標體進行三維重建； 42)獲取目標體位置與三維坐標； 進一步，所述步驟21)具體包括如下幾個步驟: 211)對圖像進行灰度處理； 212)對圖像進行增強處理； 213)對圖像進行二值化處理； 214)對圖像進行形態學運算； 進一步，所述步驟22)具體為: 判斷是否有蘋果幼果是基于圓形度概念進行的，所謂的圓形度就是用于特征的提取與描述，其計算公式的描述為:2.根據權利要求1所述的，其特征在于所述的三維重建方法是運用了最小二乘法，其表達公式為:全文摘要本專利技術涉及一種機器人的視覺定位方法，更具體地，涉及基于機器視覺的蘋果套袋機器人視覺定位系統及方法。該方法可以對蘋果幼果進行準確的圖像處理與分析，通過算法快速的對蘋果幼果進行準確定位，確定幼果的精確位置，引導機械臂完成套袋工作。本專利技術的方法組成有硬件和軟件兩個部分，其中的硬件包括圖像采集裝置、存儲裝置、處理器、控制器；軟件部分包括圖像處理程序與定位程序。本專利技術的方法是由ROI提取、灰度化、圖像增強、圖像分割、相機標定、圖像極線校正、圖像的特征提取和匹配以及圖像的三維重建來實現的。文檔編號A01G13/02GK103198477SQ20131009596公開日2013年7月10日 申請日期2013年3月25日 優先權日2013年3月25日專利技術者高宏偉, 李斌, 劉哲, 洪坤, 于洋 申請人:沈陽理工大學本文檔來自技高網...

【技術保護點】
一種蘋果套袋機器人視覺定位方法，采用本方法完成蘋果套袋視覺定位，包括硬件和軟件兩部分；硬件部分包括蘋果幼果圖像采集裝置、存儲裝置、處理器和控制器；蘋果幼果圖像采集裝置為工業CCD雙目攝像機，裝設在蘋果套袋機器人的設定位置上；軟件部分包括圖像處理程序和定位程序，圖像處理程序包括ROI提取，灰度化，圖像增強和圖像分割；定位程序包括攝像機標定，極線校正，特征提取與匹配和三維重建；圖像處理程序用于將從存儲裝置中讀取的圖像進行預處理，定位程序用來對預處理后的圖像提取目標并進行精確定位；其特征在于蘋果套袋機器人視覺定位包括下述步驟：1）用工業CCD雙目攝像機對蘋果樹及蘋果幼果進行采集，得到整體圖像后，將左目和右目采集到的圖像分別存儲在存儲裝置中，并從存儲裝置中讀取出這兩幅圖像；2）對讀取的左目和右目兩幅圖像分別進行預處理，提取出感興趣的部分ROI，判斷圖像中是否有蘋果幼果，如果沒有就調整攝像頭的位置，返回步驟1），如果有則將其分割提取出來后進入步驟3）；3）對相機進行標定后對目標體匹配，以及去除誤匹配，匹配成功，則進入步驟4），否則進入2）；4）對匹配好的目標體進行三維重建，最后確定目標體在圖像中的位置以及獲取準確的三維坐標；5）將獲取的位置與坐標信息傳輸給處理器，處理器再將處理后的數據傳輸給機械臂控制系統，并求取運動學逆解，從而引導機械臂完成套袋動作；進一步，所述步驟2）具體包括如下幾個步驟：21）對圖像進行預處理并提取出ROI；22）判斷是否有蘋果幼果并分割；進一步，所述步驟3）具體包括如下幾個步驟：31）對雙目攝像機進行標定；32）對兩幅圖像進行極線校正；33）特征提取與匹配；進一步，所述步驟4）具體包括如下：41）對目標體進行三維重建；?42）獲取目標體位置與三維坐標；進一步，所述步驟21）具體包括如下幾個步驟：211）對圖像進行灰度處理；212）對圖像進行增強處理；213）對圖像進行二值化處理；214）對圖像進行形態學運算；進一步，所述步驟22）具體為：判斷是否有蘋果幼果是基于圓形度概念進行的，所謂的圓形度就是用于特征的提取與描述，其計算公式的描述為：????????????????????????????????????????????????????????????????????????????????????????????其中代表的是圓形度，代表面積，代表周長；當的數值為1的時候，代表的是圓，開始的時候設置一個閾值，由于蘋果為近似圓形的，而樹葉及樹干不是圓形的，所以，設置的閾值，當連通的區域的圓形度小于設定的閾值，則認定為是背景，設定為白色；當連通的區域的圓形度大于設定的閾值，則認定為是前景，也就是感興趣的部分，即蘋果幼果果實，設定為黑色，這樣，感興趣的區域就從圖像中分離出來，完成了圖像分割過程；進一步，所述步驟31）具體為：攝像機進行標定采用的方法是Tsai兩步標定方法，該算法分為兩步進行：第一步：基于圖像點坐標只有徑向畸變誤差，通過建立和求解超定線性方程組，先計算出外部參數；第二步，考慮畸變因素，利用一個三變量的優化搜索算法求解非線性方程組，以確定其他參數；進一步，所述步驟33）具體為：本專利技術所用到的特征提取和匹配的方法是基于Gensus變換的匹配算法，該算法的變換原則為以窗口中心元素的灰度值為閾值，將窗口中的其他元素與之相比，若其他元素的值比中心元素的值大，則將該元素設為0，否則將該元素設為1；基于Gensus變換的匹配算法的步驟如下：（1）、讀取兩幅校正后的圖像，分別將像素灰度值存入兩個動態數組中，令總循環變量i=0；（2）、以存儲左圖像像素灰度值數組的第i個元素為基準進行窗口內部的秩變換，在算法設定的搜索空間內在右圖像中通過計算海明距離搜索候選匹配點，并記錄距離最小的點；（3）、以記錄的右圖像中最大分數值的點為基準進行窗口內部的秩變換，反過來在左圖像中進行海明距離最小的候選匹配點的搜索并記錄，判斷該點與步驟（2）的左圖像的基準點是否相同，相同則認為匹配正確并保存匹配點對；令i=i+1，判斷i是否達到存儲左圖像像素灰度值數組的上限，達到了則轉步驟（4），否則轉步驟（2）。783851dest_path_image001.jpg,543997dest_path_image002.jpg,811030dest_path_image003.jpg,9930dest_path_image004.jpg,678809dest_path_image002.jpg,859123dest_path_image002.jpg,613453dest_path_image002.jpg,350465dest_path_image002.jpg...

【技術特征摘要】

【專利技術屬性】
技術研發人員：高宏偉，李斌，劉哲，洪坤，于洋，
申請(專利權)人：沈陽理工大學，
類型：發明
國別省市：