一種基于神經網絡和模糊決策的果樹剪枝方法及系統技術方案

本發明專利技術涉及果樹剪枝技術領域，尤其涉及一種基于神經網絡和模糊決策的果樹剪枝方法及系統，包括：通過AR眼鏡采集果樹枝干圖像；對果樹枝干圖像進行對暗光增強和曝光糾正；采用ShuffleNetV2的基本單元及網絡結構，卷積層部分融入ResNet101的層級分割，對圖像進行枝干分割，輸出影響果樹剪枝決策的特征；將果樹剪枝決策的特征輸入TSK模糊神經網絡，輸出枝條的類別。本發明專利技術克服了艱難的地形帶來的影響，保證在地勢險要的地方仍然能夠正常作業，靈活完成AR智能識別剪枝點；還克服了一般深度學習神經網絡模型需要大量訓練集、計算量大、對計算機硬件要求高，識別精度不夠高缺點。識別精度不夠高缺點。識別精度不夠高缺點。

【技術實現步驟摘要】
一種基于神經網絡和模糊決策的果樹剪枝方法及系統


[0001]本專利技術涉及果樹剪枝
，尤其涉及一種基于神經網絡和模糊決策的果樹剪枝方法及系統。

技術介紹

[0002]在果實的生長周期中，需要進行修冠及整形這兩個步驟，這兩個步驟看似簡單，卻在果樹的生長周期內，扮演舉足輕重的角色，需要專業的技術和經驗才能完成。
[0003]目前農業上雖有整形剪枝機器人的應用，但是都具有一定的局限性，采購及維護成本頗高，使用條件的及地形限制。
[0004]AR(增強現實)相關技術，能將虛擬的信息應用到真實世界，其在現實生活中被廣泛應用到旅游和導覽、娛樂和商業、裝配和裝修等領域，未來農業技術和AR交互技術必然會有良好的發展空間和前景。
[0005]深度學習算法發展迅速，但是其計算資源需求太大和內存消耗嚴重使得成本較高，而輕量化網絡它能盡可能保證模型精度的前提下，降低模型的計算復雜度和空間復雜度，從而使得深度神經網絡可以被部署在計算性能和存儲空間有限的嵌入式邊緣設備上。
[0006]Mask R
?
CNN是一個兩階段的實例分割模型，雖然具有分割準確、結構簡單等優點，但是網絡模型過于復雜會產生較大的參數量和計算量，可能會導致網絡的速度很慢。

技術實現思路

[0007]針對現有算法的不足，本專利技術系統克服了艱難的地形帶來的影響，保證在地勢險要的地方仍然能夠正常作業，靈活完成AR智能識別剪枝點；還克服了一般深度學習神經網絡模型需要大量訓練集、計算量大、對計算機硬件要求高，識別精度不夠高缺點。
[0008]本專利技術所采用的技術方案是：一種基于神經網絡和模糊決策的果樹剪枝方法及系統包括以下步驟：
[0009]步驟一、通過AR眼鏡采集果樹枝干圖像；
[0010]步驟二、對果樹枝干圖像進行對暗光增強和曝光糾正；
[0011]進一步的，暗光增強和曝光糾正是通過一個逆映射函數F,將sRGB圖像映射到對應的raw
?
RGB空間上，通過調整ISP過程中的關鍵參數，動態調整圖像亮度。
[0012]進一步的，關鍵參數包括：gamma數值、白平衡和相關色彩矩陣；
[0013]步驟三、采用ShuffleNetV2的基本單元及網絡結構，卷積層部分融入ResNet101的層級分割，對圖像進行枝干分割，輸出影響果樹剪枝決策的特征；
[0014]進一步的，采用ShuffleNetV2的基本單元及網絡結構，卷積層部分融入ResNet101的層級分割具體包括：六個卷積層，分別為1、9、12、69、9、1個卷積；其中，第六卷積層包含一個1x1卷積，用來混合通道特征，將特征圖尺寸相同的層進行整合，將卷積層輸出特征分成五個階段。
[0015]進一步的，果樹剪枝決策的特征包括：樹枝縱向高度Δh，樹枝徑向長度Δr，樹枝
生長角度Δα，樹枝平均直徑樹枝彎曲度ρ。
[0016]進一步的，步驟三還包括：將ShuffleNetV2
?
ResNet結構的S3、S4中用于下采樣模塊的左側分支3x3深度卷積替換成卷積核為3x3、擴張率為2的深度空洞卷積，左右分支步長均為2；將S5中下采樣模塊左側分支也使用空洞卷積代替了原來的3x3卷積，左右分支步長均為1。
[0017]步驟四、將果樹剪枝決策的特征輸入TSK模糊神經網絡，輸出枝條的類別；
[0018]進一步的，TSK模糊神經網絡的模糊規則為：
[0019]IF x
1 is A
1k
∩x
2 is A
2k
∩...∩x
d is A
dk
[0020]Then f(x)＝p
0k
+p
1k
x1+...+p
dk
x
d
[0021]k＝1，2，...，K
[0022]其中，IF語句為模糊規則的前件部分，THEN語句為模糊規則的后件部分，K表示TSK模糊規則規則庫的模糊規則數量，A
ik
表示在第k條規則中第i個特征對應的一個模糊子集；∩為模糊規則中的合取操作，p表示模糊規則的后件參數；
[0023]進一步的，枝條的類別包括：背上枝、向心枝和競爭枝。
[0024]基于神經網絡和模糊決策的果樹剪枝方法的系統，包括：視覺系統、AR顯示屏、集成線路單元、主控裝置和通信模塊，主控裝置通過集成線路單元分別與視覺系統、AR顯示屏連接，主控裝置還與通信模塊連接，視覺系統用于農業生產者所觀察畫面中果樹枝干場景圖像的采集；AR顯示屏用于顯示視覺系統所采集的圖像和果樹剪枝點的決策結果；集成線路單元用于連接主控裝置、視覺系統、AR顯示屏和通信模塊；主控裝置用于控制AR智能眼鏡設備的運行與啟停；通信模塊用于AR智能眼鏡設備和剪枝決策的數據傳輸。
[0025]進一步的，還包括：圖像識別處理模塊和果樹剪枝點決策模塊，圖像識別處理模塊用于對視覺系統采集的圖像進行預處理和分割，使得圖像中只剩下果樹枝干圖像并計算出果樹枝干的特征；果樹剪枝點決策模塊根據圖像識別處理模塊得到的果樹枝干特征判斷枝條類別并標出剪枝點。
[0026]本專利技術的有益效果：
[0027]1、克服地形影響，保證在地勢險要的地方仍然能夠正常作業，靈活完成AR智能識別,同時方便部署在計算性能和存儲空間有限的嵌入式邊緣設備上；
[0028]2、克服一般深度學習神經網絡模型需要大量訓練集、計算量大、計算時間長、對計算機硬件要求高，識別精度不夠高等缺點，使用輕量化網絡結構，大大減少了模型訓練的參數量；
[0029]3、使用AR眼鏡系統來實時決策果樹剪枝點，應用AR的作用原理和果樹剪枝規則，將這兩項相互配合，實現人機相輔相成，相互協助，能更智能、高效的執行剪枝這一目的；
[0030]4、完成對果樹枝干暗光增強和曝光糾正，將非正常光照下攝影得到的圖像，通過逆映射函數F,將sRGB圖像映射到其對應的raw
?
RGB空間上，使最終的預測圖像接近正常光照環境下的攝影圖像；
[0031]5、將5個桃樹枝干形態特征值的輸入層，10個節點的隱藏層，1個節點的輸出層的TSK模糊神經網絡模型，判斷出需要剪的枝條類型，TSK模糊神經網絡模型具有強大的學習能力和較好的可解釋性的。
附圖說明
[0032]圖1是本專利技術的系統連接圖；
[0033]圖2中(a)是shufflenetv2和resnet結合后的結構中S3和S4的下采樣模塊；圖2(b)是shufflenetv2和resnet結合后的結構中S5中下采樣模塊；
[0034]圖3是本專利技術的TSK型模糊系統框架示意圖。
具體實施方式
[0035]下面結合附圖和實施例對本專利技術作進一步說明，此圖為簡化的示意圖，僅以示意方式說明本專利技術的基本結構，因此其僅顯示與本專利技術有關的構成。
[0036]如圖1所示，一種基于神經網絡和模糊決策的果樹剪枝系統本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于神經網絡和模糊決策的果樹剪枝方法，其特征在于，包括以下步驟：步驟一、通過AR眼鏡采集果樹枝干圖像；步驟二、對果樹枝干圖像進行對暗光增強和曝光糾正；步驟三、采用ShuffleNetV2的基本單元及網絡結構，卷積層部分融入ResNet101的層級分割，對圖像進行枝干分割，輸出影響果樹剪枝決策的特征；步驟四、將果樹剪枝決策的特征輸入TSK模糊神經網絡，輸出枝條的類別。2.根據權利要求1所述的基于神經網絡和模糊決策的果樹剪枝方法，其特征在于，暗光增強和曝光糾正是通過一個逆映射函數F,將sRGB圖像映射到對應的raw
?
RGB空間上，通過調整ISP過程中的關鍵參數，動態調整圖像亮度。3.根據權利要求2所述的基于神經網絡和模糊決策的果樹剪枝方法，其特征在于，關鍵參數包括：gamma數值、白平衡和相關色彩矩陣。4.根據權利要求1所述的基于神經網絡和模糊決策的果樹剪枝方法，其特征在于，采用ShuffleNetV2的基本單元及網絡結構，卷積層部分融入ResNet101的層級分割具體包括：六個卷積層，分別為1、9、12、69、9、1個卷積；其中，第六卷積層包含一個1x1卷積，用來混合通道特征，將特征圖尺寸相同的層進行整合，將卷積層輸出特征分成五個階段。5.根據權利要求4所述的基于神經網絡和模糊決策的果樹剪枝方法，其特征在于，果樹剪枝決策的特征包括：樹枝縱向高度Δh，樹枝徑向長度Δr，樹枝生長角度Δα，樹枝平均直徑樹枝彎曲度ρ。6.根據權利要求1所述的基于神經網絡和模糊決策的果樹剪枝方法，其特征在于，步驟三還包括：將ShuffleNetV2
?
ResNet結構的S3、S4中用于下采樣模塊的左側分支3x3深度卷積替換成卷積核為3x3、擴張率為2的深度空洞卷積，左右分支步長均為2；將S5中下采樣模塊左側分支也使用空洞卷積代替了原來的3x3卷積，左右分支步長均為1。7.根據權利要求1所述的基于神經網絡和模糊決策的果樹...

【專利技術屬性】
技術研發人員：呂繼東，王凌云，顧玉宛，孫曉琴，牛亮亮，鄒凌，戎海龍，
申請(專利權)人：常州大學，
類型：發明
國別省市：