本發明專利技術公開一種抑郁狀態評估裝置、方法、設備及存儲介質，通過獲取被測人員的文本數據、語音數據、圖像數據和社交網絡數據，來對所述文本數據、所述語音數據和所述圖像數據進行特征提取并融合得到多模態融合特征；根據所述社交網絡數據和所述多模態融合特征構建圖；將構建的圖輸入預先訓練好的多模態圖注意力模型，輸出所述被測人員的抑郁狀態評估結果。本發明專利技術實施例通過結合被測人員的多種特征信息以及個人的社交關系，對被測人員進行較為全面有效且快速的抑郁狀態測評，實現了快速且準確的抑郁狀態評估。的抑郁狀態評估。的抑郁狀態評估。
【技術實現步驟摘要】
一種抑郁狀態評估裝置、方法、設備及存儲介質
[0001]本專利技術涉及數據分析
，尤其涉及一種抑郁狀態評估裝置、方法、設備及存儲介質。
技術介紹
[0002]當今，大學生心理狀態已經成為大學關注的焦點。通過評估大學生的抑郁狀態來及時掌握大學生的心理狀態，以為開展心理狀態教育活動和進行心理咨詢提供有效幫助，以及為有針對性地采取干預措施提高大學生心理狀態水平提供參考。其中，如何快速準確地進行抑郁狀態評估給大學生心理狀態教育帶來了巨大挑戰，現階段抑郁狀態的評估方法主要依靠心理測評量表或咨詢心理醫生，咨詢心理醫生這一方式無法針對大量學生進行快速測評，心理測評量表評估主要依靠被測評人的自我陳述，比如調查問卷，然后根據評估規則對照被測評人回答的結果進行抑郁狀態評估，這種抑郁狀態評估方式只通過單一的角度進行測查，被測評人易隱瞞自身的抑郁狀況，從而造成較大的偏差，難以全面客觀地反映被測評人的真實抑郁狀態。
技術實現思路
[0003]本專利技術實施例的目的是提供一種抑郁狀態評估裝置、方法、設備及存儲介質，通過結合被測人員的多種特征信息以及個人的社交關系，對被測人員進行較為全面有效且快速的抑郁狀態測評，實現了快速且準確的抑郁狀態評估。
[0004]為實現上述目的，本專利技術實施例提供了一種抑郁狀態評估裝置，包括：
[0005]數據獲取模塊，用于獲取被測人員的文本數據、語音數據、圖像數據和社交網絡數據；
[0006]特征提取模塊，用于對所述文本數據、所述語音數據和所述圖像數據進行特征提取并融合得到多模態融合特征；
[0007]圖構建模塊，用于根據所述社交網絡數據和所述多模態融合特征構建圖；
[0008]狀態評估模塊，用于將構建的圖輸入預先訓練好的多模態圖注意力模型，輸出所述被測人員的抑郁狀態評估結果。
[0009]作為上述方案的改進，所述特征提取模塊，具體用于：
[0010]基于預先訓練好的文本特征提取器提取所述文本數據的文本特征，以作為狀態序列特征；
[0011]基于預先訓練好的語音特征提取器和圖像特征提取器分別提取所述語音數據的語音特征、所述圖像數據的圖像特征，并調用特征融合器對所述語音特征和所述圖像特征進行融合以得到情緒狀態特征；
[0012]將所述狀態序列特征和所述情緒狀態特征進行級聯合并，得到描述被測人員抑郁狀態的多模態融合特征。
[0013]作為上述方案的改進，所述圖構建模塊，具體用于：
[0014]將所述社交網絡數據轉換為關系矩陣；
[0015]根據所述多模態融合特征和所述關系矩陣構建圖；其中，所述多模態融合特征作為頂點特征、所述關系矩陣作為邊。
[0016]作為上述方案的改進，所述狀態評估模塊，具體用于：
[0017]將構建的圖輸入預先訓練好的圖注意力網絡，更新所述頂點特征；
[0018]將更新后的頂點特征輸入全連接層，輸出所述被測人員的抑郁狀態評估結果。
[0019]作為上述方案的改進，所述裝置還包括參數訓練模塊，所述多模態圖注意力模型的參數包括所述文本特征提取器的參數、所述語音特征提取器的參數、所述圖像特征提取器的參數、所述特征融合器的參數以及所述圖注意力網絡的參數，所述參數訓練模塊用于：
[0020]獲取已知人員的文本數據、語音數據、圖像數據和社交網絡數據，作為訓練樣本，并為每一訓練樣本賦予對應的真實標簽；
[0021]對所述文本特征提取器進行參數訓練，并根據預測的為文本序列特征和對應的真實標簽計算第一損失函數；
[0022]對所述語音特征提取器、所述圖像特征提取器以及所述特征融合器進行參數訓練，并根據預測的情緒序列特征和對應的真實標簽計算第二損失函數；
[0023]對所述圖注意力網絡進行參數訓練，并根據預測的抑郁狀態評估結果和對應的真實標簽計算第三損失函數；
[0024]調用Adam優化器聯合優化所述第一損失函數、所述第二損失函數和所述第三損失函數。
[0025]作為上述方案的改進，所述調用Adam優化器聯合優化所述第一損失函數、所述第二損失函數和所述第三損失函數，具體包括：
[0026]根據所述第一損失函數、所述第二損失函數和所述第三損失函數得到總損失函數L
all
：
[0027]L
all
＝L
transformer
+λ1L
Fusion
+λ2L
Graph
；
[0028]其中，L
transformer
表示所述第一損失函數，L
Fusion
表示所述第二損失函數，L
Graph
表示所述第三損失函數，λ1和λ2為可調節的平衡系數；
[0029]調用Adam優化器優化所述總損失函數。
[0030]為實現上述目的，本專利技術實施例提供了一種抑郁狀態評估方法，包括：
[0031]獲取被測人員的文本數據、語音數據、圖像數據和社交網絡數據；
[0032]對所述文本數據、所述語音數據和所述圖像數據進行特征提取并融合得到多模態融合特征；
[0033]根據所述社交網絡數據和所述多模態融合特征構建圖；
[0034]將構建的圖輸入預先訓練好的多模態圖注意力模型，輸出所述被測人員的抑郁狀態評估結果。
[0035]作為上述方案的改進，所述對所述文本數據、所述語音數據和所述圖像數據進行特征提取并融合得到多模態融合特征，具體包括：
[0036]基于預先訓練好的文本特征提取器提取所述文本數據的文本特征，以作為狀態序列特征；
[0037]基于預先訓練好的語音特征提取器和圖像特征提取器分別提取所述語音數據的
語音特征、所述圖像數據的圖像特征，并調用特征融合器對所述語音特征和所述圖像特征進行融合以得到情緒狀態特征；
[0038]將所述狀態序列特征和所述情緒狀態特征進行級聯合并，得到描述被測人員抑郁狀態的多模態融合特征。
[0039]為實現上述目的，本專利技術實施例提供了一種抑郁狀態評估設備，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器執行所述計算機程序時實現如上述任一實施例所述的抑郁狀態評估方法。
[0040]為實現上述目的，本專利技術實施例提供了一種計算機可讀存儲介質，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器執行所述計算機程序時實現如上述任一實施例所述的抑郁狀態評估方法。
[0041]與現有技術相比，本專利技術實施例公開的抑郁狀態評估裝置、方法、設備及計算機可讀存儲介質，通過獲取被測人員的文本數據、語音數據、圖像數據和社交網絡數據，來用于提取并融合與抑郁狀態相關的特征，以得到多模態融合特征；通過根據社交網絡數據和多模態融合特征來構建與抑郁狀態相關的圖，用于輸入預先訓練好的多模態圖注意力模型，輸出被測人員的抑郁狀態評估結果。本專利技術實施例通過從文本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種抑郁狀態評估裝置，其特征在于，包括：數據獲取模塊，用于獲取被測人員的文本數據、語音數據、圖像數據和社交網絡數據；特征提取模塊，用于對所述文本數據、所述語音數據和所述圖像數據進行特征提取并融合得到多模態融合特征；圖構建模塊，用于根據所述社交網絡數據和所述多模態融合特征構建圖；狀態評估模塊，用于將構建的圖輸入預先訓練好的多模態圖注意力模型，輸出所述被測人員的抑郁狀態評估結果。2.如權利要求1所述的抑郁狀態評估裝置，其特征在于，所述特征提取模塊，具體用于：基于預先訓練好的文本特征提取器提取所述文本數據的文本特征，以作為狀態序列特征；基于預先訓練好的語音特征提取器和圖像特征提取器分別提取所述語音數據的語音特征、所述圖像數據的圖像特征，并調用特征融合器對所述語音特征和所述圖像特征進行融合以得到情緒狀態特征；將所述狀態序列特征和所述情緒狀態特征進行級聯合并，得到描述被測人員抑郁狀態的多模態融合特征。3.如權利要求1所述的抑郁狀態評估裝置，其特征在于，所述圖構建模塊，具體用于：將所述社交網絡數據轉換為關系矩陣；根據所述多模態融合特征和所述關系矩陣構建圖；其中，所述多模態融合特征作為頂點特征、所述關系矩陣作為邊。4.如權利要求3所述的抑郁狀態評估裝置，其特征在于，所述狀態評估模塊，具體用于：將構建的圖輸入預先訓練好的圖注意力網絡，更新所述頂點特征；將更新后的頂點特征輸入全連接層，輸出所述被測人員的抑郁狀態評估結果。5.如權利要求4所述抑郁狀態評估裝置，其特征在于，所述裝置還包括參數訓練模塊，所述多模態圖注意力模型的參數包括所述文本特征提取器的參數、所述語音特征提取器的參數、所述圖像特征提取器的參數、所述特征融合器的參數以及所述圖注意力網絡的參數，所述參數訓練模塊用于：獲取已知人員的文本數據、語音數據、圖像數據和社交網絡數據，作為訓練樣本，并為每一訓練樣本賦予對應的真實標簽；對所述文本特征提取器進行參數訓練，并根據預測的為文本序列特征和對應的真實標簽計算第一損失函數；對所述語音特征提取器、所述圖像特征提取器以及所述特征融合器進行參數訓練，并根據預測的情緒序列特征和對應的真實標簽計算第二損失函數；對所述圖注意力網絡進行參數訓練，并根據預測的抑郁狀態評估結果和對應的真實標簽計算第三損失函數；調用Adam優化器聯合優化所述第一損失函數、所述第二損失函數...
【專利技術屬性】
技術研發人員：李亞桃，
申請(專利權)人：云南師范大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。