一種西瓜及其瓜藤識別檢測方法技術

一種西瓜及其瓜藤識別檢測方法，包括以下步驟：步驟一：采集西瓜圖像；步驟二：制作西瓜數據集，第一種是用于訓練YOLOv5算法的數據集，需要不同角度和距離的圖像；第二種是用于訓練U

【技術實現步驟摘要】
一種西瓜及其瓜藤識別檢測方法


[0001]本專利技術屬于農業方向的計算機視覺
，涉及一種西瓜及其瓜藤識別檢測方法。

技術介紹

[0002]西瓜采收是較為繁雜的過程，而且目前國內的農業勞動力較為緊缺，引入西瓜采收機器人有利于解放勞動力，降低人力成本。而西瓜識別檢測和瓜藤識別分割的精度直接影響著西瓜采摘機器人的工作質量。
[0003]隨著深度學習在計算機視覺領域的大熱，目標檢測算法的精度不斷改進，并且算法的效率逐漸提升。但在西瓜采摘工作中，西瓜的檢測定位并不是難事，關鍵在于將需要剪切的瓜藤的位置和輪廓分割出來，亟需要實現西瓜及其瓜藤的有效識別和檢測。

技術實現思路

[0004]為了克服已有技術無法實現西瓜及其瓜藤的有效識別和檢測的不足,本專利技術提供了一種西瓜及其瓜藤識別檢測方法，在目標檢測的基礎上還加入了語義分割算法，使得在檢測西瓜瓜體位置的同時，還能識別出瓜藤的輪廓。實現像素級別的瓜藤輪廓分割，為后續的采摘工作提供更多的信息。
[0005]本專利技術解決其技術問題所采用的技術方案是：
[0006]一種西瓜及其瓜藤識別檢測方法，包括以下步驟：
[0007]步驟一：采集西瓜圖像，利用相機在西瓜大棚和西瓜地中采集不同時段、不同角度的西瓜圖像；
[0008]步驟二：制作西瓜數據集，第一種是用于訓練YOLOv5算法的數據集，需要不同角度和距離的圖像；第二種是用于訓練U
?
Net算法的數據集，需要包含西瓜果柄的西瓜近景圖像；數據集的標注過程為：第一批數據集是通過矩形框標出西瓜及其瓜藤的位置；第二批數據集需要用多邊形將西瓜瓜藤的輪廓框選出來；
[0009]步驟三：構建兩個算法模型：需要構建YOLOv5網絡模型和U
?
Net網絡模型，針對西瓜藤輪廓分割的需求，對U
?
Net網絡模型進行優化，將其特征提取網絡部分替換為ResNet
?
50，減小模型的大小和運算耗時，并將下采樣部分替換為空洞卷積，減少下采樣過程中的信息損失；
[0010]步驟四：訓練模型，用第一種數據集訓練YOLOv5網絡模型，第二種數據集訓練U
?
Net網絡模型；
[0011]步驟五：算法運行：將訓練好的模型輸出成.pt格式的權重文件，將西瓜圖片作為YOLOv5模型的輸入，得到西瓜位置和果柄位置，以果柄位置為中心，劃分出ROI區域，作為U
?
Net模型的輸入，實現瓜藤輪廓的分割，得到西瓜位置、西瓜大小、瓜藤切割點和瓜藤的輪廓信息。
[0012]進一步，所述步驟二中，將采集到的圖像進行數據增強，包括圖片翻轉、平移、縮放
和添加噪聲方式，然后使用labelme軟件進行數據集標注，用于訓練YOLOv5模型的數據集使用矩形框標出西瓜及其瓜藤的位置；用于訓練U
?
Net模型的數據集使用多邊形框標出果柄的輪廓，軟件會根據標記存儲位置信息，方便后續訓練模型時讀取數據。
[0013]所述步驟三中，構建YOLOv5網絡模型過程中，結構包括特征提取網絡、特征融合網絡和檢測頭；
[0014]構建U
?
Net網絡模型過程中，前半部分是逐步地特征提取和下采樣，后半部分是逐步上采樣并與前半部分同尺度的特征圖進行堆疊，實現特征融合，最終進行結果輸出；對其前半部分進行以下優化：將特征提取部分替換為ResNet
?
50；將下采樣模塊的最大池化卷積替換成空洞卷積，減少損失的像素信息。
[0015]所述步驟四中，每種數據庫加載設定數量的圖片，經過模型計算得到預測結果，與真實結果比較計算得到損失函數，通過不斷更新模型的權重使得損失函數達到最小；當迭代次數到300次時，訓練結束，取期間損失函數最小的模型作為最終算法模型。
[0016]優選的，將U
?
Net的損失函數設置為權重交叉熵，增大瓜藤類識別誤差損失的占比，使得U
?
Net網絡模型訓練時，對于瓜藤的敏感度更大，提高算法的準確率。
[0017]本專利技術的技術構思為：先通過YOLOv5算法檢測得到西瓜瓜體位置和瓜藤切割點的位置，將以瓜藤切割點為中心的一定范圍設為ROI區域，將這個區域作為U
?
Net算法的輸入，將需要切割的瓜藤的生長輪廓分割出來，由此兩步實現西瓜的檢測與瓜藤的分割。
[0018]本專利技術的有益效果主要表現在：在通過目標檢測獲取位置信息的同時，為后續的語義分割提供了先驗信息，提高了語義分割的精度；通過修改U
?
Net的特征提取部分和上采用部分，大幅提升算法模型的效率。實現的識別結果比普通的算法提供了更多了信息。
附圖說明
[0019]圖1是模型構建方法的流程圖。
[0020]圖2是西瓜及其瓜藤識別檢測的流程圖。
具體實施方式
[0021]下面結合附圖對本專利技術作進一步描述。
[0022]參照圖1和圖2，一種西瓜及其瓜藤識別檢測方法，包括以下步驟：
[0023]步驟一：采集西瓜圖像，利用相機在西瓜大棚和西瓜地中采集不同時段、不同角度的西瓜圖像；
[0024]步驟二：制作西瓜數據集：本專利技術包含了兩步算法，需要制作兩種數據集，第一種是用于訓練YOLOv5算法的數據集，需要不同角度和距離的圖像，第二種是用于訓練U
?
Net算法的數據集，需要包含西瓜果柄的西瓜近景圖像；數據集的標注過程為：第一批數據集是通過矩形框標出西瓜及其瓜藤的位置，第二批數據集需要用多邊形將西瓜瓜藤的輪廓框選出來；
[0025]步驟三：構建兩個算法模型：需要構建YOLOv5網絡模型和U
?
Net網絡模型。針對西瓜藤輪廓分割的需求，對U
?
Net網絡模型進行優化，將其特征提取網絡部分替換為ResNet
?
50，減小模型的大小和運算耗時，并將下采樣部分替換為空洞卷積，減少下采樣過程中的信息損失；
[0026]步驟四：訓練模型，用第一種數據集訓練YOLOv5網絡模型，第二種數據集訓練U
?
Net網絡模型；
[0027]步驟五：算法運行：將訓練好的模型輸出成.pt格式的權重文件，將西瓜圖片作為YOLOv5模型的輸入，得到西瓜位置和果柄位置，以果柄位置為中心，劃分出ROI區域，作為U
?
Net模型的輸入，實現瓜藤輪廓的分割；通過這兩步算法，最終得到西瓜位置、西瓜大小、瓜藤切割點和瓜藤的輪廓信息。
[0028]實例：一種西瓜及其瓜藤識別檢測方法，實施過程包括以下步驟：
[0029]步驟一、采集西瓜圖像：在某西瓜種植基地，用相機拍攝不同角度和光照環境下的西瓜圖片共3000張，其中包含果柄的西瓜近距離圖片不少于1000張，用于訓練U
?
Net模型；
[0030]步驟二、制作西瓜數據集：將采集到的圖像進行數據增強，包括圖片翻轉、平移、縮放和本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種西瓜及其瓜藤識別檢測方法，其特征在于，所述方法包括以下步驟：步驟一：采集西瓜圖像，利用相機在西瓜大棚和西瓜地中采集不同時段、不同角度的西瓜圖像；步驟二：制作西瓜數據集，第一種是用于訓練YOLOv5算法的數據集，需要不同角度和距離的圖像；第二種是用于訓練U
?
Net算法的數據集，需要包含西瓜果柄的西瓜近景圖像；數據集的標注過程為：第一批數據集是通過矩形框標出西瓜及其瓜藤的位置；第二批數據集需要用多邊形將西瓜瓜藤的輪廓框選出來；步驟三：構建兩個算法模型：需要構建YOLOv5網絡模型和U
?
Net網絡模型，針對西瓜藤輪廓分割的需求，對U
?
Net網絡模型進行優化，將其特征提取網絡部分替換為ResNet
?
50，減小模型的大小和運算耗時，并將下采樣部分替換為空洞卷積，減少下采樣過程中的信息損失；步驟四：訓練模型，用第一種數據集訓練YOLOv5網絡模型，第二種數據集訓練U
?
Net網絡模型；步驟五：算法運行：將訓練好的模型輸出成.pt格式的權重文件，將西瓜圖片作為YOLOv5模型的輸入，得到西瓜位置和果柄位置，以果柄位置為中心，劃分出ROI區域，作為U
?
Net模型的輸入，實現瓜藤輪廓的分割，得到西瓜位置、西瓜大小、瓜藤切割點和瓜藤的輪廓信息。2.如權利要求1所述的一種西瓜及其瓜藤識別檢測方法，其特征在于，所述步驟二中，將采集到的圖像進行數據增強，包括...

【專利技術屬性】
技術研發人員：楊慶華，曾翰喜，王志杰，荀一，王志恒，都明宇，
申請(專利權)人：浙江工業大學，
類型：發明
國別省市：