一種基于融合注意力機制的人體行為識別方法技術

本發明專利技術涉及一種基于融合注意力機制的人體行為識別方法，利用卷積網絡模塊學習多源異構傳感器信號內部的空間特征，融合各傳感器特征向量，通過傳感器通道注意力模塊學習傳感器數據間相關性，卷積網絡模塊的輸出輸入到循環神經網絡模塊中學得時序間關系，采用自注意力機制捕獲輸入序列中關鍵部分，決定每部分的輸入權重，使用注意力門過濾噪聲部分，保留注意力分數較高的部分，最終形成整個時間序列的特征向量，得到行為分類結果，通過引入注意力機制以分離不同人類行為下的傳感器內關系、傳感器間關系以及行為時序關系，提高了對于人類行動分類準確率；與現有技術相比，本發明專利技術具有準確率高、可解釋強、拓展性好等優點。拓展性好等優點。拓展性好等優點。

A human behavior recognition method based on attention fusion mechanism

【技術實現步驟摘要】
一種基于融合注意力機制的人體行為識別方法


[0001]本專利技術涉及一種人體行為識別技術，尤其是涉及一種基于融合注意力機制的人體行為識別方法。

技術介紹

[0002]在人體行為識別技術中，多關注人體日常執行頻率最高、表征人體基本運動單元的動作，如行走、站立、靜止、跑步、上下樓梯等，然而，行為的多樣性和復雜性對人體行為的細粒度區分有了更高的要求。現有研究多用加速度計傳感器采集用戶數據，但單一傳感器的研究難以很好地區分主體差異性及類間相似性帶來的行為模式差異。其中主體差異性，即個體用戶間因為生理特征產生的差異如年齡、性別等；類間相似性，即相似行為類別僅存在細微差異行為模式。例如，在看電視時，不同人具有極為不同的差異化行為模式；在跑步和走路時，不同人的傳感器數據均表現出相似性。由于以上兩大差異性的影響，人體行為細粒度的區分受加速度計、陀螺儀、磁力計等傳感器影響程度不一。
[0003]已有的研究主要從以下方式對如何獲取傳感器模態間關系展開：(1)早期融合：初始融合所有數據作為模型輸入，進行特征工程后得到識別結果；(2)傳感器融合：單獨考慮每個模態，融合不同的模態進行分類；或分別處理每個傳感器軸信號。(3) 軸融合：為每個特征的每個單變量時間序列設計特定神經網絡，整合所有通道的特征表示輸入到最終的分類網絡，消除不同傳感器的軸間干擾。(4)共享參數融合：在軸融合的基礎上不同任務的神經網絡可以使用共享的參數提取通用特征，再針對不同任務的特點訓練獨有參數，允許了靈活的復雜性分布，以處理不同復雜程度的人類行為。
[0004]傳統模態融合方式均容易丟失各模態內的細節相關性，為單個傳感器軸信號分別設計模型又會忽視各傳感器間作用，同時具有高研究成本，人類行為識別的準確性和可解釋性有待進一步提高。傳統模態融合方法在分類過程中會混入非主要行為特征的其他傳感器噪聲并產生誤差。

技術實現思路

[0005]本專利技術的目的就是為了克服上述現有技術存在的缺陷而提供一種基于融合注意力機制的人體行為識別方法，準確率高、可解釋強、拓展性好等優點。
[0006]本專利技術的目的可以通過以下技術方案來實現：
[0007]一種基于融合注意力機制的人體行為識別方法，包括：
[0008]采集穿戴式設備上的多源異構傳感器獲取的人體姿態數據，構成數據集，并進行預處理；
[0009]將數據集輸入訓練好的深度行為識別模型，獲得人體行為分類結果；
[0010]其中，所述的深度行為識別模型包括：
[0011]傳感器通道注意力模塊，用于提取多個傳感器通道間的作用關系特征；
[0012]卷積網絡模塊，用于根據傳感器通道間的作用關系特征，獲取同一時刻下每個傳
感器特征通道的模態特征；
[0013]循環神經網絡模塊，用于根據模態特征的時間序列提取時間特征；
[0014]時序注意力模塊，用于根據時間特征獲取同一時間片內不同時刻的注意力權重，并根據注意力權重對時間特征進行加權，獲得注意力特征；
[0015]全連接層行為判斷模塊，用于根據注意力特征，通過全連接層獲取人體行為概率分布，并將概率最大的人體行為作為時間片內的人體行為分類結果。
[0016]進一步地，所述的預處理的具體過程包括：
[0017]對數據集進行濾波處理；
[0018]采用合成少數過采樣技術對數據集中的不平衡類數據進行處理；
[0019]采用定長滑窗法對數據集進行信號分割。
[0020]進一步地，所述的合成少數過采樣技術的計算公式為：
[0021]c＝a+rand(0,1)*|a
?
b|
[0022]其中，a為原始樣本點數據，b為歐式距離下與a最近鄰的另一個樣本數據，c為合成采樣得到的樣本數據，rand(0,1)表示0到1之間的隨機數。
[0023]進一步地，所述的濾波處理的具體過程包括：
[0024]通過中值濾波和三階巴特沃斯低通濾波器對數據集進行去噪。
[0025]進一步地，所述的定長滑窗法中滑動窗口的重疊度為50％。
[0026]進一步地，所述的傳感器通道注意力模塊為SENet中的SE通道注意力模塊。
[0027]進一步地，所述的卷積網絡模塊為CNN、Resnet或深度可分離卷積。
[0028]進一步地，所述的循環神經網絡模塊為LSTM或GRU。
[0029]一種電子設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器調用所述程序指令能夠執行所述的人體行為識別方法。
[0030]一種計算機可讀存儲介質，包括計算機程序，所述計算機程序能夠被處理器執行以實現所述的人體行為識別方法。
[0031]與現有技術相比，本專利技術具有以如下有益效果：
[0032](1)本專利技術利用卷積網絡模塊學習多源異構傳感器信號內部的空間特征，融合各傳感器特征向量，通過傳感器通道注意力模塊學習傳感器數據間相關性，卷積網絡模塊的輸出輸入到循環神經網絡模塊中學得時序間關系，采用自注意力機制捕獲輸入序列中關鍵部分，決定每部分的輸入權重，使用注意力門過濾噪聲部分，保留注意力分數較高的部分，最終形成整個時間序列的特征向量，得到行為分類結果，本專利技術通過引入注意力機制以分離不同人類行為下的傳感器內關系、傳感器間關系以及行為時序關系，表現在數據上則為傳感器特征的通道、時間注意力分離，提高了對于人類行動的分類準確率；
[0033](2)本專利技術深度行為識別模型針對傳感器的多通道特征使用兩次注意力模塊以獲取各個傳感器通道的注意力和時間序列上的注意力，將傳感器特征的通道和空間變化進行了分離，具有可解釋性，針對穿戴式傳感器數據的行為識別可以減少對傳感器數量的限制，配合可解釋性方法，如SHAP、LIME或梯度方法等解釋性方法，借助于傳感器間的通道和時間注意力，更好地可視化說明模型視角下分類的成因，可以更好的讓人理解模型的分類的原因，節省部署時間成本，也可以研究誤分類樣本的原因；
[0034](3)本專利技術在僅利用穿戴式傳感器設備下便可以對行為進行識別，無需復雜的全
套追蹤設備，自主性好；
[0035](4)本專利技術可以在僅修改輸入特征數的情況下被應用于多源異構傳感器數據，無需重新設計網絡結構，拓展性好；
[0036](5)本專利技術深度行為識別模型中的各個模型結構的組成均可以替換，如卷積模塊可以是傳統CNN、Resnet、深度可分離卷積等，循環模塊可以是LSTM或是 GRU，發展性強。
附圖說明
[0037]圖1為傳感器通道注意力模塊的結構示意圖；
[0038]圖2為循環神經網絡基本結構示意圖；
[0039]圖3為雙向時間序列循環神經網絡的結構示意圖；
[0040]圖4為本專利技術的方法流程示意圖。
具體實施方式
[0041]下面結合附圖和具體實施例對本專利技術進行詳細說明。本實施例以本專利技術技術方案為前提進行實施，給出了詳細的實施方式和具體的操作過程，但本專利技術的保護本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于融合注意力機制的人體行為識別方法，其特征在于，包括：采集穿戴式設備上的多源異構傳感器獲取的人體姿態數據，構成數據集，并進行預處理；將數據集輸入訓練好的深度行為識別模型，獲得人體行為分類結果；其中，所述的深度行為識別模型包括：傳感器通道注意力模塊，用于提取多個傳感器通道間的作用關系特征；卷積網絡模塊，用于根據傳感器通道間的作用關系特征，獲取同一時刻下每個傳感器特征通道的模態特征；循環神經網絡模塊，用于根據模態特征的時間序列提取時間特征；時序注意力模塊，用于根據時間特征獲取同一時間片內不同時刻的注意力權重，并根據注意力權重對時間特征進行加權，獲得注意力特征；全連接層行為判斷模塊，用于根據注意力特征，通過全連接層獲取人體行為概率分布，并將概率最大的人體行為作為時間片內的人體行為分類結果。2.根據權利要求1所述的一種基于融合注意力機制的人體行為識別方法，其特征在于，所述的預處理的具體過程包括：對數據集進行濾波處理；采用合成少數過采樣技術對數據集中的不平衡類數據進行處理；采用定長滑窗法對數據集進行信號分割。3.根據權利要求2所述的一種基于融合注意力機制的人體行為識別方法，其特征在于，所述的合成少數過采樣技術的計算公式為：c＝a+rand(0,1)*|a
?
b|其中，a為原始樣本點數據...

【專利技術屬性】
技術研發人員：潘建國，胡正欣，尹思思，李美子，彭偉民，
申請(專利權)人：上海師范大學，
類型：發明
國別省市：