【技術實現步驟摘要】
基于序列圖的輕量化加油員行為識別方法及裝置
[0001]本專利技術屬于圖像視覺深度學習
，具體涉及一種基于序列圖的輕量化加油員行為識別方法及裝置。
技術介紹
[0002]目前，機場行為監督主要采用人工監管或視頻監控兩種方式，人工監管實際處理起來耗時耗力，同時難以達到實時性、全天候的要求，對工作人員的行為監督工作也難以到位，可能會導致較大的安全隱患。機場加油人員的指揮行為主要有手指向上，俯身等，需要對其行為進行識別判斷動作指令是否完成，以減少事故的發生。
[0003]現階段，移動端設備、邊緣設備等算力及存儲資源有限，傳統技術方案難以平衡實時性和準確性，且對于檢測較為規則的人體這種簡單的情況，復雜的結構和大量的參數會造成成本和功耗的增加，不利于全天候24小時監督。其中，基于序列的行為分類算法主要分為兩步，首先從RGB圖中提取出輪廓圖、骨骼關鍵點等中間特征，之后再對提取到的特征進行分類。然而實際應用中，提取輪廓圖會丟失空間細粒度信息，同時還有其他的視覺信息的噪聲干擾，推理速度較慢。
技術實現思路
[0004]為此，本專利技術提供一種基于序列圖的輕量化加油員行為識別方法及裝置，解決傳統方案準確性和實時性差的問題。
[0005]為了實現上述目的，本專利技術提供如下技術方案：基于序列圖的輕量化加油員行為識別方法，包括：
[0006]采集待識別的行為視頻流，將所述行為視頻流進行解碼，對解碼后的所述行為視頻流分解為連續幀，對分解后的連續幀圖像進行尺寸預處理；
[0007]構建人體...
【技術保護點】
【技術特征摘要】
1.基于序列圖的輕量化加油員行為識別方法，其特征在于，包括：采集待識別的行為視頻流，將所述行為視頻流進行解碼，對解碼后的所述行為視頻流分解為連續幀，對分解后的連續幀圖像進行尺寸預處理；構建人體目標檢測網絡，利用所述人體目標檢測網絡對預處理后的連續幀圖像進行高維信息提取，高維信息提取后進行空間金字塔池化，采用shortcut路徑將輸入特征圖與池化輸出進行維度拼接，再利用一個卷積層進行特征信息融合；將所述人體目標檢測網絡獲取的前后兩幀對應的錨框進行檢測目標關聯，以跟蹤人體目標得到人體運動軌跡序列圖集合；將跟蹤得到的人體運動軌跡序列圖集合作為輸入，利用卷積層和最大池化層對輸入的人體運動軌跡序列圖集合提取特征并疊加得到時間融合特征圖；將時間融合特征圖展開成一維的特征向量融合空間信息，利用全連接網絡和Softmax對特征向量的分類，得到預定的加油員行為類型。2.根據權利要求1所述的基于序列圖的輕量化加油員行為識別方法，其特征在于，對預處理后的連續幀圖像，通過二維卷積、批標準化及ReLu激活后得到高維特征圖像，再經過若干次由Block單元和SandGlass單元組成的特征提取器提取高維信息。3.根據權利要求2所述的基于序列圖的輕量化加油員行為識別方法，其特征在于，特征信息融合過程，對20
×
20
×
256的高維特征信息和80
×
80
×
64的低維特征信息進行相互的特征融合增強，并輸出到兩個檢測頭；對檢測頭解耦，消除目標檢測中分類和回歸特征中的沖突；利用1
×
1的卷積層減少通道維數，并將預測分支解耦，再由兩個3
×
3的卷積層并行分支分別用于分類和回歸任務。4.根據權利要求1所述的基于序列圖的輕量化加油員行為識別方法，其特征在于，利用所述人體目標檢測網絡獲取的前后兩幀錨框a和錨框b計算重疊度IOU，重疊度IOU計算公式為：IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))式中，Area(a)為錨框a所占區域的面積，Area(b)為錨框b所占區域的面積。5.根據權利要求4所述的基于序列圖的輕量化加油員行為識別方法，其特征在于，跟蹤人體目標得到人體運動軌跡序列圖集合步驟包括：采用閾值σ
l
濾除掉置信度低的人體檢測框；針對當前幀檢測集D
f
，對于活躍的軌跡集合T
a
中的每一軌跡t
i
，選取最后加入軌跡的人體檢測框信息，依次計算當前位置信息和當前幀檢測集中所有檢測框的重疊度IOU，如果滿足最大的IOU(d
best
，t
i
)大于等于預設閾值，則判定當前檢測框屬于對應加入的軌跡，從當前幀檢測集D
f
中刪去當前檢測框。6.根據權利要求4所述的基于序列圖的輕量化加油員行為識別方法，其特征在于，如果不滿足最大的IOU(d
best
，t
i
)大于等于預設閾值，利用人體檢測框的長寬比和置信度得分，計算前后幀不同人體檢測框的相似度Sim進行再次匹配：Sim＝1
?
0.5*abs[(R
a
+R
b
)/(R
a
*R
b
)]+0.5*abs(C
a
?
C
b
)式中，R
a
、R
b
分別代表檢測框的長和寬之比；C
a
、C
b
分別表示檢測框置信度之差。7.根據權利要求6所述的基于序列圖的輕量化加油員行為識別方法，其特征在于，當Sim小于預設值時，判斷對應軌跡中歷史位置的最得高分是否大于閾值σ
h
，及對應軌跡的出
現時間是否大于跟蹤完成時間t
min
，若滿足調節，判定跟蹤完畢，把對應軌跡t
i
從活躍的軌跡集合T
a
移動到已追蹤完畢人體軌跡集...
【專利技術屬性】
技術研發人員：管大勝，王雷，宋明，張志軍，劉聰，
申請(專利權)人：上海承飛航空特種設備有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。