【技術實現步驟摘要】
本專利技術涉及名優茶嫩芽采摘，更具體的說是涉及一種基于邊端協同的智能采茶系統及方法。
技術介紹
1、茶葉起源于中國，具有悠久的歷史。中國作為茶葉種植和銷售大國，茶葉的產量高低和品質好壞對我國農業經濟的發展至關重要。茶葉的生產大致可分為采摘、炒殺、做形和烘干四個過程。作為名優茶生產中最重要的環節，茶葉的采摘仍以勞動密集型的原生態手工采摘作業為主。人工采摘季節性強，采摘時間短、任務重，需要耗費大量的勞動力。近年來，勞動力成本與日俱增，勞動力資源嚴重短缺，一定程度上限制了名優茶產業的發展。因此，茶葉產業對革新采摘方式的需求也日益迫切，名優茶的機械自動化采摘成為必然趨勢。
2、機械采茶雖然能夠大幅提升采茶的效率，但由于茶葉嫩芽與老葉的形狀和顏色差異較小、茶葉生長時互相遮擋的情況嚴重以及茶葉的葉片會隨風產生位置移動和變形等情況，導致茶葉識別準確度較低，機械手容易誤采或漏采，進而使得茶葉的品質降低。因此，只有做到在自然環境下對茶葉嫩芽進行快速準確的識別，才可以真正意義上實現茶葉的自動化采摘。
3、近年來，由于深度學習和人工神經網絡的發展，計算機視覺取得了巨大的進步，為名優茶的自動化采摘提供了技術支持。圖像采集設備可以獲取茶葉生長過程中的各類圖像信息，而圖像語義分割技術的發展可以輔助采摘機器掌握采摘區域茶芽的分布情況，通過坐標位置的計算實現茶芽的智能定位采摘。通過分析和處理茶葉生產環節中的各類圖像數據，可以為茶葉生產提供智能決策，實現茶葉生產的機械化、自動化和智能化。
4、但是，基于深度學習的神經網絡計算量
5、因此，如何提高機械化茶葉采摘過程中的識別準確度和實時性是本領域技術人員亟需解決的問題。
技術實現思路
1、有鑒于此，本專利技術提供了一種基于邊端協同的智能采茶系統及方法，能夠解決現有技術中邊緣計算設備難以滿足神經網絡計算要求，而將圖像數據傳輸到終端則通信時間長、實時性低進而影響機器的整體運行效率的問題。
2、為了實現上述目的，本專利技術采用如下技術方案：
3、一種基于邊端協同的智能采茶系統，包括：圖像采集模塊、邊緣計算模塊、數據傳輸模塊、終端計算模塊、嫩梢定位模塊和采摘模塊；
4、其中，所述圖像采集模塊采集茶芽圖像；所述邊緣計算模塊通過部署的編碼器對所述茶芽圖像進行特征提取；所述數據傳輸模塊將編碼器提取的茶芽特征進行特征壓縮傳輸，并解壓傳輸到終端計算模塊；所述終端計算模塊通過部署的解碼器還原所述茶芽特征并得出分割結果；所述嫩梢定位模塊根據所述分割結果快速計算嫩梢采摘點位置；所述采摘模塊根據所述嫩梢采摘點位置計算目標采摘位置，生成采摘控制指令。
5、優選的，所述茶芽圖像包括彩色信息和深度信息，利用采集所述茶芽圖像時的彩色傳感器和深度傳感器的坐標位置關系，將所述深度信息對齊到彩色信息上，獲得所述彩色信息上每一個像素的深度信息。
6、優選的，構建語義分割網絡，并進行權重和激活值的訓練感知量化；將訓練后的語義分割網絡的編碼器加載至所述邊緣計算模塊，將訓練后的語義分割網絡的解碼器加載至所述終端計算模塊。
7、優選的，所述編碼器包括卷積層、池化層和激活層，對所述茶芽圖像進行特征提取，獲得圖像特征；所述卷積層提取所述茶芽圖像的視覺特征圖，所述池化層降低所述視覺特征圖的尺寸，所述激活層對降低尺寸后的所述視覺特征圖進行非線性變換獲得所述圖像特征。
8、優選的，所述數據傳輸模塊在通訊首端通過bottlenet++將編碼器提取的圖像特征進行壓縮獲得壓縮數據，并采用tcp通訊傳輸壓縮數據，在通訊末端解壓壓縮數據并將其傳輸至所述終端計算模塊。
9、優選的，所述終端計算模塊對接收的數據進行處理，獲得圖像特征；所述解碼器包括反卷積層、上采樣層和激活層，對所述圖像特征進行茶芽識別，獲得分割結果和分割掩膜；所述反卷積層將所述圖像特征還原成像素級的特征圖，所述上采樣層增加所述特征圖的尺寸，所述激活層對增加尺寸后的所述特征圖中的像素進行非線性變換并進行茶芽識別。
10、優選的，所述嫩梢定位模塊對所述分割結果為茶芽的所述茶芽圖像進行處理，根據所述茶芽圖像中檢測到的分割掩膜，提取所述分割掩膜內所有圖像坐標系的像素點2d坐標，結合rgb-d相機深度映射模型生成掩膜區域所有點在相機坐標系下對應的3d坐標，得到所述嫩梢采摘點位置。
11、優選的，所述采摘模塊包括機械臂、末端執行器和負壓裝置；根據所述控制指令控制所述機械臂攜帶所述末端執行器運動到目標采摘位置上方，沿豎直方向或沿嫩梢的生長方向控制所述末端執行器移動到目標采摘位置進行嫩梢的采摘，所述負壓裝置收集采摘的嫩梢。
12、優選的，所述采摘模塊根據嫩梢采摘點位置和3d坐標，沿機械臂通過質心估計法進行定位，獲得目標采摘位置。
13、一種基于邊端協同的智能采茶方法，包括以下步驟：
14、步驟1：采集茶芽圖像，并進行對齊處理；
15、步驟2：構建語義分割網絡，并對權重和激活值進行訓練感知量化；
16、步驟3：將訓練好的所述語義分割模型的編碼器部署在邊緣計算模塊，解碼器部署在終端計算模塊上；
17、步驟4：將對齊處理后的所述茶芽圖像輸入所述編碼器進行特征提取，獲得圖像特征，經所述數據傳輸模型壓縮后傳輸至末端解壓恢復數據，解壓后的數據傳輸至所述解碼器；
18、步驟5：所述解碼器接收數據并還原圖像特征，進行茶芽識別，獲得分割結果和分割掩膜；
19、步驟6：對所述分割結果的輸出類別為茶芽的所述茶芽圖像根據所述分割掩膜計算嫩梢采摘點位置；
20、步驟7：根據所述嫩梢采摘點位置計算目標采摘位置，生成采摘控制指令。
21、經由上述的技術方案可知，與現有技術相比，本專利技術公開提供了一種基于邊端協同的智能采茶系統及方法，基于邊端協同實現名優茶嫩芽識別和采摘，對基礎的編碼-解碼架構的語義分割網絡進行網絡優化，將編碼器與解碼器之間的傳輸低級特征圖的跳層連接去除然后將編碼、解碼結構分別部署到終端計算模塊和邊緣計算模塊上；采用bottlenet++的端到端架構對編-解碼之間的神經網絡中間層數據進行壓縮處理以縮短數據傳輸時間；并對優化后的語義分割網絡采用量化感知訓練，將32位高精度浮點數轉為定點8位整數，以加快運算速度，提高采茶算法在硬件平臺上的運行效率。本專利技術的有益效果包括：
22、1)借助語義分割網絡，可自動識別茶芽，提高了名優茶識別的準確度；
23、2)通過設置邊緣計算模塊、終端計算模塊，實現邊、端協同處理，解決了語義分割網絡結構復雜，參數量大，農機硬件設備難以滿足其計算要求的問題；
24、3)對分別部署語義分割網絡的編碼器和解碼器的邊緣設備、終端設備間的傳輸數據進行壓縮，縮短了數據傳輸時間，提高了通信速度；...
【技術保護點】
1.一種基于邊端協同的智能采茶系統，其特征在于，包括：圖像采集模塊、邊緣計算模塊、數據傳輸模塊、終端計算模塊、嫩梢定位模塊和采摘模塊；
2.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述茶芽圖像包括彩色信息和深度信息，利用采集所述茶芽圖像時的彩色傳感器和深度傳感器的坐標位置關系，將所述深度信息對齊到彩色信息上，獲得所述彩色信息上每一個像素的深度信息。
3.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，構建語義分割網絡，并進行權重和激活值的訓練感知量化；將訓練后的語義分割網絡的編碼器加載至所述邊緣計算模塊，將訓練后的語義分割網絡的解碼器加載至所述終端計算模塊。
4.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述編碼器包括卷積層、池化層和激活層，對所述茶芽圖像進行特征提取，獲得圖像特征；所述卷積層提取所述茶芽圖像的視覺特征圖，所述池化層降低所述視覺特征圖的尺寸，所述激活層對降低尺寸后的所述視覺特征圖進行非線性變換獲得所述圖像特征。
5.根據權利要求1所述的一種基于邊端協同的智
6.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述終端計算模塊對接收的數據進行處理，獲得圖像特征；所述解碼器包括反卷積層、上采樣層和激活層，對所述圖像特征進行茶芽識別，獲得分割結果和分割掩膜；所述反卷積層將所述圖像特征還原成像素級的特征圖，所述上采樣層增加所述特征圖的尺寸，所述激活層對增加尺寸后的所述特征圖中的像素進行非線性變換并進行茶芽識別。
7.根據權利要求6所述的一種基于邊端協同的智能采茶系統，其特征在于，所述嫩梢定位模塊對所述分割結果為茶芽的所述茶芽圖像進行處理，根據所述茶芽圖像中檢測到的分割掩膜，提取所述分割掩膜內所有圖像坐標系的像素點2D坐標，結合RGB-D相機深度映射模型生成掩膜區域所有點在相機坐標系下對應的3D坐標，得到所述嫩梢采摘點位置。
8.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述采摘模塊包括機械臂、末端執行器和負壓裝置；根據所述控制指令控制所述機械臂攜帶所述末端執行器運動到目標采摘位置上方，沿豎直方向或嫩梢生長方向控制所述末端執行器移動到目標采摘位置進行嫩梢采摘，所述負壓裝置收集采摘的嫩梢。
9.根據權利要求8所述的一種基于邊端協同的智能采茶系統，其特征在于，所述采摘模塊根據所述嫩梢采摘點位置和3D坐標，沿所述機械臂通過質心估計法進行定位，獲得目標采摘位置。
10.一種基于邊端協同的智能采茶方法，其特征在于，應用于上述權利要求1-9任一項所述的一種基于邊端協同的智能采茶系統，包括以下步驟：
...【技術特征摘要】
1.一種基于邊端協同的智能采茶系統，其特征在于，包括：圖像采集模塊、邊緣計算模塊、數據傳輸模塊、終端計算模塊、嫩梢定位模塊和采摘模塊；
2.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述茶芽圖像包括彩色信息和深度信息，利用采集所述茶芽圖像時的彩色傳感器和深度傳感器的坐標位置關系，將所述深度信息對齊到彩色信息上，獲得所述彩色信息上每一個像素的深度信息。
3.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，構建語義分割網絡，并進行權重和激活值的訓練感知量化；將訓練后的語義分割網絡的編碼器加載至所述邊緣計算模塊，將訓練后的語義分割網絡的解碼器加載至所述終端計算模塊。
4.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述編碼器包括卷積層、池化層和激活層，對所述茶芽圖像進行特征提取，獲得圖像特征；所述卷積層提取所述茶芽圖像的視覺特征圖，所述池化層降低所述視覺特征圖的尺寸，所述激活層對降低尺寸后的所述視覺特征圖進行非線性變換獲得所述圖像特征。
5.根據權利要求1所述的一種基于邊端協同的智能采茶系統，其特征在于，所述數據傳輸模塊的通訊首端通過bottlenet++將編碼器提取的圖像特征進行壓縮獲得壓縮數據，并采用tcp通訊傳輸壓縮數據，在所述數據傳輸模塊的通訊末端解壓壓縮數據并將其傳輸至所述終端計算模塊。
6.根據權利要求1所述的一種基于邊端協同的智能采茶...
【專利技術屬性】
技術研發人員：程景春，郭雯妍，劉曉欣，宋佳潔，王明，潘雄，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。