本發明專利技術公開了一種基于元學習和特征融合的微表情識別方法及裝置，該方法包括：獲取微表情數據信息；對微表情數據信息進行特征提取，得到微表情特征信息；所述微表情特征信息構成微表情數據集；對微表情數據集進行劃分得到訓練集和測試集；對微表情特征信息進行處理得到微表情平均特征信息；根據所述微表情平均特征信息，對所述測試集中的待識別微表情特征信息進行處理，得到微表情識別結果。本發明專利技術通過采用元學習方法，利用少量的數據快速學習新概念，可以解決微表情樣本缺乏導致的模型泛化能力不理想的問題；利用宏表情和微表情在面部肌肉運動和紋理變化方面有一些相似性和互補性優勢，通過充分利用先前學習的知識，提高微表情識別的性能。
【技術實現步驟摘要】
本專利技術涉及微表情識別，尤其涉及一種基于元學習和特征融合的微表情識別方法及裝置。
技術介紹
1、微表情識別任務面臨著一個重要挑戰，即微表情數據樣本的稀缺性。由于深度學習模型的本質是數據驅動的，更多的訓練數據能夠產生更好的模型泛化能力，但這一特點限制了其在微表情識別等數據稀缺領域的應用。為了解決這個問題，越來越多的研究人員致力于元學習方法的研究。將元學習方法應用于微表情識別領域可以實現使用少量數據快速學習新概念的目標，其靈感源自于人類能夠從少量樣本中學習知識并將其應用到新任務上。因此，元學習方法逐漸成為解決微表情識別問題的一種有效方法。
2、目前的研究中，研究人員提出一種基于深度森林和卷積神經網絡的微表情識別方法。該方法旨在解決現有微表情識別方法集成度低和訓練時間長的問題。通過采用基于深度森林和卷積神經網絡的異質集成模型,將深度森林的重表示特征經過卷積層和卷積神經網絡的深度特征混合，形成新的圖像特征,以幫助分類器實現判別分類，從而實現更高的準確率。相較于其他微表情識別算法,該集成算法表現出更好的魯棒性。然而，在數據預處理階段，該算法缺乏有效的面部特征選擇方法。有文獻提出一種雙特征融合的跨域微表情識別方法。該方法的目標是解決面部肌肉動作信息捕獲不充分以及不同域之間特征不一致的問題。通過從動作單元和光流兩種角度針對空間信息和時間信息進行特征提取，利用交叉注意力機制進行源域跟目標域之間的特征對齊實現跨域識別。該方法主要應用于面部微表情識別任務中。然而，該算法沒有利用先驗知識充分融合微表情數據與宏表情數據。
技術實現思路
1、本專利技術所要解決的技術問題在于，提供一種基于元學習和特征融合的微表情識別方法及裝置，針對微表情樣本缺乏的問題，深度學習模型作為數據驅動模型，可能在模型泛化能力方面存在不理想的情況。直接使用深度學習模型會限制其在微表情識別等數據稀缺領域的應用。因此，本專利技術采用元學習方法，通過使用少量數據快速學習新概念，解決了模型泛化能力不足的問題。另外，在微表情識別模塊中，識別性能存在不理想的情況。因此，本專利技術設計了微表情識別和宏表情識別兩個模塊，并在模型融合模塊中進行特征融合。宏表情和微表情在面部肌肉運動和紋理變化方面有一些相似性和互補性。通過特征融合方法，充分利用先前學習的知識，為提高微表情識別性能提供了技術支持。本專利技術在數據預處理階段采用了面部遮罩機制，僅保留圖像或視頻中感興趣的面部區域，有效降低了無關噪聲對數據的干擾。本專利技術在模型融合模塊中設計了微表情識別和宏表情識別兩個模塊。宏表情和微表情在面部肌肉運動和紋理變化方面有一些相似性和互補性，這樣的設計能夠充分利用先前學習的知識，從而提高微表情識別的性能。
2、為了解決上述技術問題，本專利技術實施例第一方面公開了一種基于元學習和特征融合的微表情識別方法，所述方法包括：
3、s1，獲取微表情數據信息；
4、s2，對所述微表情數據信息進行特征提取，得到微表情特征信息；所述微表情特征信息構成微表情數據集；
5、s3，對所述微表情數據集進行劃分，得到訓練集和測試集；
6、s4，對所述微表情特征信息進行處理，得到微表情平均特征信息；
7、s5，根據所述微表情平均特征信息，對所述測試集中的待識別微表情特征信息進行處理，得到微表情識別結果。
8、作為一種可選的實施方式，本專利技術實施例第一方面中，所述
9、s21，對所述微表情數據信息進行預處理，得到預處理微表情數據信息；
10、s22，對所述預處理微表情數據信息進行特征提取，得到幀差值特征信息；
11、s22，對所述預處理微表情數據信息進行特征提取，得到光流特征信息；
12、s23，對所述幀差值特征信息和所述光流特征信息進行融合，得到微表情特征信息。
13、作為一種可選的實施方式，本專利技術實施例第一方面中，所述對所述微表情特征信息進行處理，得到微表情平均特征信息，包括：
14、s31，對所述微表情特征信息進行處理，得到微表情參數信息；
15、s32，利用預設的宏表情數據集，對預設的宏表情識別模型進行預訓練，得到宏表情特征信息；
16、s33，利用所述微表情參數信息，對預設的微表情識別模型進行預訓練，得到預訓練微表情特征信息；
17、s34，對所述宏表情特征信息和所述預訓練微表情特征信息進行融合，得到融合微表情特征信息；
18、s35，對所述融合微表情特征信息進行聚類，得到微表情深度特征信息；
19、s36，對所述微表情深度特征信息進行處理，得到微表情平均特征信息。
20、作為一種可選的實施方式，本專利技術實施例第一方面中，所述對所述微表情特征信息進行處理，得到微表情參數信息，包括：
21、s311，根據類別標簽，對所述訓練集進行劃分，得到相同樣本集i1和不同樣本集i2；
22、s312，利用3d卷積神經網絡對所述相同樣本集i1和所述不同樣本集i2進行處理，得到第一特征參數信息f1和第二特征參數信息f2；
23、s313，對所述第一特征參數信息f1和所述第二特征參數信息f2進行處理，得到微表情參數信息。
24、作為一種可選的實施方式，本專利技術實施例第一方面中，所述對所述微表情深度特征信息進行處理，得到微表情平均特征信息，包括：
25、利用微表情平均模型，對所述微表情深度特征信息進行處理，得到微表情平均特征信息；
26、所述微表情平均模型為：
27、
28、其中fθ為特征提取器，fθ(x)為微表情數據信息數據樣本x的微表情深度特征信息，sc是訓練集s中c類的樣本簇，wc是c類的質心，即微表情平均特征信息。
29、作為一種可選的實施方式，本專利技術實施例第一方面中，所述根據所述微表情平均特征信息，對所述測試集中的待識別微表情特征信息進行處理，得到微表情識別結果，包括：
30、s51，利用余弦相似度，計算測試集中每個樣本與訓練集中的微表情平均特征信息之間的距離，得到微表情距離信息和宏表情距離信息；
31、s52，對所述微表情距離信息和宏表情距離信息進行加權處理，得到加權距離信息；
32、s53，對所述加權距離信息進行處理，得到測試集中樣本的微表情識別結果。
33、作為一種可選的實施方式，本專利技術實施例第一方面中，所述對所述微表情距離信息和宏表情距離信息進行加權處理，得到加權距離信息，包括：
34、利用距離加權模型，對所述微表情距離信息和宏表情距離信息進行加權處理，得到加權距離信息；
35、所述距離加權模型為：
36、
37、其中，為i個加權距離信息，為第i個微表情距離信息，為第i個宏表情距離信息，α和β為預設加權系數，i＝1,2,…,c，c為類別數。
38、本專利技術實施例第二方面公開了一種基于元學習和特征融合的本文檔來自技高網
...
【技術保護點】
1.一種基于元學習和特征融合的微表情識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情數據信息進行特征提取，得到微表情特征信息，包括：
3.根據權利要求1所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情特征信息進行處理，得到微表情平均特征信息，包括：
4.根據權利要求3所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情特征信息進行處理，得到微表情參數信息，包括：
5.根據權利要求3所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情深度特征信息進行處理，得到微表情平均特征信息，包括：
6.根據權利要求1所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述根據所述微表情平均特征信息，對所述測試集中的待識別微表情特征信息進行處理，得到微表情識別結果，包括：
7.根據權利要求6所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情距離信息和宏表情距離信息進行加權處理，得到加權距離信息，包括：
8.一種基于元學習和特征融合的微表情識別裝置，其特征在于，所述裝置包括：
9.一種基于元學習和特征融合的微表情識別裝置，其特征在于，所述裝置包括：
10.一種計算機可存儲介質，其特征在于，所述計算機可存儲介質存儲有計算機指令，所述計算機指令被調用時，用于執行如權利要求1-7任一項所述的基于元學習和特征融合的微表情識別方法。
...
【技術特征摘要】
1.一種基于元學習和特征融合的微表情識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情數據信息進行特征提取，得到微表情特征信息，包括：
3.根據權利要求1所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情特征信息進行處理，得到微表情平均特征信息，包括：
4.根據權利要求3所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情特征信息進行處理，得到微表情參數信息，包括：
5.根據權利要求3所述的基于元學習和特征融合的微表情識別方法，其特征在于，所述對所述微表情深度特征信息進行處理，得到微表情平均特征信息，包括：
6.根...
【專利技術屬性】
技術研發人員：馬天丹，宋明武，高天禹，張世月，于文東，耿震，閆慧炯，陳鵬飛，黃如強，
申請(專利權)人：天津濱海人工智能創新中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。