一種基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，包括雙目立體全景視覺傳感器，用于對采摘對象的識別、分類和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數的固定單視點的全方位視覺裝置，全方位視覺裝置簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，并保證兩個ODVS的主軸在同一直線上。本發明專利技術具有采摘識別率高、邊采摘邊分級分類、空間定位計算量少、空間定位高等優點。
【技術實現步驟摘要】
本專利技術屬于全景立體視覺技術、采摘機器人技術、數字圖像處理技術和模式識別技術在顆粒狀農作物自動化采摘方面的應用，尤其適用于采摘機器人的自動采摘作業。
技術介紹
農作物采摘作業是農作物生產鏈中最耗時、最費力的一個環節。同時，采摘作業質量的好壞還直接影響到產品的后 續加工和儲存。如何以低成本獲得高品質的產品是農作物生產環節中必須重視和考慮的問題。由于采摘作業的復雜性，目前我國采摘作業的規模化、自動化和智能化程度仍然很低，基本上農作物采摘作業都是手工進行，就棉花采摘這一項來說每年約需要人工采摘成本8個億。隨著人口的老齡化和農業勞動力的減少，農業生產成本也相應提高，這樣會大大降低產品的市場競爭力。因此采摘機器人是未來智能農業機械的發展方向。采摘機器人工作在高度非結構化的環境下，采摘對象是有生命的生物體，具有以下的特點1)采摘對象嬌嫩、易脆，形狀復雜且個體之間的差異性大；2)采摘對象大多數被樹葉、樹枝等掩蓋，增大了機器人視覺定位難度，降低采摘成功率；3)采摘對象分布是隨機的，分布在采摘機器人的周圍，因此需要全方位的檢測方法；4)希望實現智能化自動分級技術邊采摘邊分級，即在采摘過程中進行分類，以提高采摘物的品質和減少后續的分揀工序。采摘對象的識別與定位，是實現采摘自動化的第一步。考慮到采摘對象的生長環境、空間位置和分布狀態等要素，采用三維視覺進行采摘對象的檢測是一種非常有前途的解決方案。所謂三維視覺信息包括從攝像機到物體之間的距離、物體的大小和形狀、各物體之間的關系等。對于采摘機器人視覺系統而言，在自然光條件下，不僅要探測到目標的存在，還要計算出采摘對象的空間坐標。目前，在園林生產和田間作業中，對于橙、橘、番茄、土豆、蘑菇、黃瓜、蘋果、西瓜、葡萄等果蔬的基于機器視覺的采摘技術，國內外已有一些相關報道，但尚未檢索到棉花采摘機器人的相關報道。顏色、大小和形狀是反映采摘對象的重要視覺特征，是基于機器視覺的采摘對象的識別、分類的重要依據。每一種采摘對象都有其特有的顏色、大小和形狀特征，這些視覺信息是識別采摘對象的重要屬性特征；同時每一種采摘對象在其不同的生長期和不同的品質上，其顏色、大小和形狀均有較大的差別，這些差別是基于機器視覺的分類和分級中各種判定指標和閾值取值的根據。在采摘對象顏色測量中，應選用一定的顏色模型來對采摘對象表面的顏色特征進行研究。通過該研究建立多種各具特色的顏色模型，在機器視覺研究中，常用的RGB和HIS顏色模型，HIS顏色模型的描述更接近人的視覺對顏色的感知方式，它包含色相、飽和度和亮度三要素。根據對顏色的研究結果，結合有關評級標準，就可選定區別不同色度等級的色相閾值，計算出此值下的累計頻度值，就可完成顏色分級。利用被采摘對象的顏色色差信息進行圖像識別，對于有些被采摘對象，如果蔬的識別，采用HIS彩色模型用于顏色評價和圖像處理是非常有效的。對于棉桃的識別，主要是基于棉桃的R、G、B均值幾乎相等，而棉葉、棉枝的R、G、B均值相差較大。棉桃顏色差值絕大多數分布在45°線上，只有少量偏離45°線，且偏離程度較小；而棉葉和棉枝的顏色差值偏離45°線，且偏離程度較大，因此可以利用此特征差異進行圖像識別。利用此色差模型可以有效地將棉桃從背景圖像中分離出來。機器視覺的作用是從三維環境圖像中獲得所需的信息并構造出觀察對象的明確而有意義的描述。視覺包括三個過程圖像增強、特征提取和圖像理解。由視覺傳感器獲取數字圖像，經圖像增強后提取顏色、形狀和紋理特征參數對棉花進行分類、識別和描述。目前獲取采摘對象的三維坐標的定位方法主要有下面4種類型1)多目立體視覺融合多個攝像機觀察到的目標特征，重構這些特征的三維原像，并計算出目標的空間坐標；2)時間差法利用一臺攝像機的多幅連續圖像序列實現“從運動得到結構”，由圖像匹 配估計匹配點的三維坐標；3)結構光法選擇激光、微波或超聲波等光源，采用光柵法、移動投光法獲取距離圖像和反射圖像，經聯合分析測出物體的形狀和空間分布；4)傳感器融合由視覺傳感器獲取原始平面圖像，計算其形心坐標，再利用測距傳感器測量目標的深度信息。就上述4種定位方式來說，立體視覺具有投資小、能與采摘機器人的自動導航共用一套立體視覺系統、能與前期采摘對象的識別和分類等處理共用一種視頻源，因此是一種首選的解決方案。立體視覺系統一般可分為圖像采集、攝像系統標定、特征選擇與提取、立體匹配、深度確定和內插6個步驟。雙目立體視覺運用兩個相同的攝像機對同一景物從不同位置成像，獲得景物的立體圖像對，通過各種算法匹配出相應像點，從而計算出視差，然后采用基于三角測量的方法恢復深度信息。目前的立體視覺系統，利用立體攝像機獲取不同距離的采摘對象的立體圖像對，通過對圖像進行灰度圖像處理，將彩色圖像轉換為灰度圖像.然后根據灰度圖像對中像素點的相關性進行立體匹配，計算像素點的位置信息而獲得一幅深度圖像。最后對照采摘對象在深度圖像中的位置，獲取采摘對象的三維位置信息。但是目前的立體視覺系統在農作物采摘的實際應用中還存在著不少問題，其主要問題在于立體成像范圍有限，由于采摘機器人行走在農田采摘作物環境中，采摘對象的生長區域是開放式的、隨機的、不規則的和全方位的，因此，需要轉動立體視覺系統來獲取周邊的采摘對象視頻信息；其次，立體成像攝像機標定、特征提取和立體圖像匹配方面在實際應用上仍然存在著一些難以解決的問題。另外由于固定的焦距只能在一定景深范圍內清晰拍攝圖像，因而，它限制了在某些方面的應用。此外，還存在著以下不足之處1)由于標定技術不夠完善，立體視覺測量系統在采摘機器人運動中其攝像機的內外參數變化是不可避免的，因而限制了許多應用；2)在各種shape from X過程中，涉及多次坐標的轉換，造成計算量過大，難以進行實時處理，限制了對采摘對象的實時識別等應用；3)雙目視覺的對應點匹配歧異性大，造成了匹配的誤差，影響了匹配精度。立體匹配屬于典型的視覺“病態”計算問題，目前的技術還很難對圖像進行無歧義高準確率的立體匹配。近年發展起來的全方位視覺傳感器，以下簡稱0DVS，為實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由，為感知采摘機器人自身周圍狀態提供了一種新的重要手段；0DVS技術是以人為中心觀察的圖像獲取技術，能使人產生身臨其境的沉浸感，將ODVS技術應用于采摘機器人的導航、采摘對象的識別、分類和定位，就相當給予了采摘機器人具備了以采摘機器人為中心觀察的圖像獲取技術，特別的是單視點的全景成像鏡面的設計為構建采摘機器人的雙目立體全景獲取技術提供了一個良好的技術基礎。
技術實現思路
為了克服已有的農作物采摘機器人的視覺系統難以同時完成自主導航、農作物的識別、分類和空間定位等不足，本專利技術提供一種既能用于采摘機器人的自主導航，又能用于農作物的識別、分類和空間定位的基于全景立體視覺的采摘對象的識別、分類和空間定位>J-U ρ α 裝直。本專利技術解決其技術問題所采用的技術方案是一種基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，包括雙目立體全景視覺傳感器，用于對采摘對象的識別、分類和空間定位進行分析處理本文檔來自技高網...
【技術保護點】
一種基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于：包括雙目立體全景視覺傳感器，用于對采摘對象的識別、分類和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數的固定單視點的全方位視覺裝置，全方位視覺裝置簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，并保證兩個ODVS的主軸在同一直線上；所述的微處理器包括：視頻圖像讀取單元，用于讀取兩個相同成像參數的ODVS的視頻圖像，并保存在指定的存儲設備中，其輸出與視頻圖像展開單元連接；視頻圖像展開單元，用于對ODVS獲取的原始視頻圖像進行圖像預處理，圖像預處理中首先對全方位圖像進行展開，展開全景圖保存在指定的存儲單元中，其輸出與采摘對象識別模塊和比較標準特征參數抽取模塊相連接；采摘對象識別模塊，用于根據采摘對象的顏色和外形特征對采摘機器人周圍的展開全景圖中的采摘對象進行識別，其輸出與采摘對象分類模塊和采摘點匹配單元相連接；采摘對象分類模塊，用于根據各種不同的采摘對象的分類標準指標庫中相對應的采摘對象的分類標準對采摘對象進行分類分級，其輸出與采摘對象分類控制模塊相連接；各種不同的采摘對象的分類標準指標庫以及采摘對象的特征庫，用于存放各種不同的采摘對象的分類標準指標和顏色與外形特征值；采摘點匹配單元，用于找出同一時刻兩個不同視點的圖像中同一采摘對象的中心點對應的兩個像點，其輸出與空間信息計算單元連接；空間信息計算單元，用于計算空間上的采摘對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角，其輸出與機械手空間位置計算單元連接；機械手空間位置計算單元，用于計算機械手的采摘端的空間位置，其輸出控制機械手的動作，完成采摘任務；采摘對象分類控制模塊，用于控制將分類分級后的采摘對象收集或分揀到相對應的采摘對象容器中。...
【技術特征摘要】
【專利技術屬性】
技術研發人員：湯一平，俞立，
申請(專利權)人：浙江工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。