行為識(shí)別方法、存儲(chǔ)介質(zhì)及電子設(shè)備技術(shù)

本申請(qǐng)公開(kāi)了一種行為識(shí)別方法、存儲(chǔ)介質(zhì)及電子設(shè)備，方法包括：獲取參考視頻，參考視頻包括指定的行為內(nèi)容；獲取需要進(jìn)行行為識(shí)別的待識(shí)別視頻；通過(guò)基于孿生神經(jīng)網(wǎng)絡(luò)的視頻判別模型，獲取待識(shí)別視頻與參考視頻的相似度；根據(jù)相似度識(shí)別待識(shí)別視頻是否包括指定的行為內(nèi)容，得到識(shí)別結(jié)果。通過(guò)基于孿生神經(jīng)網(wǎng)絡(luò)的視頻判別模型對(duì)待識(shí)別視頻和參考視頻進(jìn)行相似度識(shí)別，能夠準(zhǔn)確地對(duì)待識(shí)別視頻進(jìn)行行為識(shí)別。別。別。

【技術(shù)實(shí)現(xiàn)步驟摘要】
行為識(shí)別方法、存儲(chǔ)介質(zhì)及電子設(shè)備


[0001]本申請(qǐng)涉及人工智能
，具體涉及一種行為識(shí)別方法、存儲(chǔ)介質(zhì)及電子設(shè)備。

技術(shù)介紹

[0002]動(dòng)物行為從宏觀上反應(yīng)了動(dòng)物高級(jí)中樞神經(jīng)功能、學(xué)習(xí)記憶能力、心理狀態(tài)、運(yùn)動(dòng)協(xié)調(diào)性等信息。研究動(dòng)物行為能夠評(píng)估動(dòng)物對(duì)于環(huán)境或者藥理的適應(yīng)情況，在毒理學(xué)、藥理學(xué)、運(yùn)動(dòng)損傷及恢復(fù)等領(lǐng)域具有廣泛應(yīng)用。
[0003]隨著人工智能技術(shù)的快速發(fā)展，基于人工智能技術(shù)的有監(jiān)督學(xué)習(xí)方法能夠?qū)?dòng)物行為進(jìn)行分類(lèi)。但該方法僅能將動(dòng)物行為劃分為固定類(lèi)別中的一種，對(duì)于未知類(lèi)別的動(dòng)物行為則難以對(duì)其進(jìn)行準(zhǔn)確分類(lèi)。

技術(shù)實(shí)現(xiàn)思路

[0004]本申請(qǐng)實(shí)施例提供一種行為識(shí)別方法、存儲(chǔ)介質(zhì)及電子設(shè)備，能夠根據(jù)提高對(duì)動(dòng)物行為進(jìn)行識(shí)別的準(zhǔn)確度。
[0005]第一方面，本申請(qǐng)實(shí)施例提供一種行為識(shí)別方法，方法包括：
[0006]獲取參考視頻，參考視頻包括指定的行為內(nèi)容；
[0007]獲取需要進(jìn)行行為識(shí)別的待識(shí)別視頻；
[0008]通過(guò)基于孿生神經(jīng)網(wǎng)絡(luò)的視頻判別模型，獲取待識(shí)別視頻與參考視頻的相似度；
[0009]根據(jù)相似度識(shí)別待識(shí)別視頻是否包括指定的行為內(nèi)容，得到識(shí)別結(jié)果。
[0010]第二方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如本申請(qǐng)任一實(shí)施例提供的行為識(shí)別方法。
[0011]第三方面，本申請(qǐng)實(shí)施例還提供一種電子設(shè)備，包括處理器和存儲(chǔ)器，存儲(chǔ)器有計(jì)算機(jī)程序，處理器通過(guò)調(diào)用計(jì)算機(jī)程序，用于執(zhí)行如本申請(qǐng)任一實(shí)施例提供的行為識(shí)別方法。
[0012]本申請(qǐng)實(shí)施例提供的技術(shù)方案，對(duì)于包括指定的行為內(nèi)容的參考視頻，通過(guò)基于孿生神經(jīng)網(wǎng)絡(luò)的視頻判別模型對(duì)該參考視頻和待識(shí)別視頻進(jìn)行相似度識(shí)別，以確定該待識(shí)別視頻是否包括指定的行為內(nèi)容。以此，通過(guò)參考視頻對(duì)待識(shí)別視頻進(jìn)行行為識(shí)別，一方面能夠準(zhǔn)確地對(duì)待識(shí)別視頻的行為進(jìn)行識(shí)別，另一方面能夠快速地對(duì)待識(shí)別視頻進(jìn)行分類(lèi)。
附圖說(shuō)明
[0013]為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0014]圖1為本申請(qǐng)實(shí)施例提供的行為識(shí)別方法的應(yīng)用場(chǎng)景示意圖。
[0015]圖2為本申請(qǐng)實(shí)施例提供的行為識(shí)別方法的流程示意圖。
[0016]圖3為本申請(qǐng)實(shí)施例提供的行為識(shí)別方法中使用滑動(dòng)窗口截取視頻片段的示意圖。
[0017]圖4為本申請(qǐng)實(shí)施例提供的行為識(shí)別方法中視頻判別模型的結(jié)構(gòu)示意圖。
[0018]圖5為本申請(qǐng)實(shí)施例提供的視頻判別方法的細(xì)節(jié)流程示意圖。
[0019]圖6為本申請(qǐng)實(shí)施例提供的電子設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
[0020]下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例。基于本申請(qǐng)中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有付出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)的保護(hù)范圍。
[0021]在本文中提及“實(shí)施例”意味著，結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性可以包含在本申請(qǐng)的至少一個(gè)實(shí)施例中。在說(shuō)明書(shū)中的各個(gè)位置出現(xiàn)該短語(yǔ)并不一定均是指相同的實(shí)施例，也不是與其它實(shí)施例互斥的獨(dú)立的或備選的實(shí)施例。本領(lǐng)域技術(shù)人員顯式地和隱式地理解的是，本文所描述的實(shí)施例可以與其它實(shí)施例相結(jié)合。
[0022]人工智能(Artificial Intelligence,AI)是利用數(shù)字計(jì)算機(jī)或者數(shù)字計(jì)算機(jī)控制的機(jī)器模擬、延伸和擴(kuò)展人的智能、感知環(huán)境、獲取知識(shí)并使用知識(shí)獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話(huà)說(shuō)，人工智能是計(jì)算機(jī)科學(xué)的一個(gè)綜合技術(shù)，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類(lèi)智能相似的方式做出反應(yīng)的智能機(jī)器。人工智能也就是研究各種智能機(jī)器的設(shè)計(jì)原理與實(shí)現(xiàn)方法，使機(jī)器具有感知、推理與決策的功能。
[0023]人工智能技術(shù)是一門(mén)綜合學(xué)科，涉及領(lǐng)域廣泛，既有硬件層面的技術(shù)也有軟件層面的技術(shù)。人工智能基礎(chǔ)技術(shù)一般包括如傳感器、專(zhuān)用人工智能芯片、云計(jì)算、分布式存儲(chǔ)、大數(shù)據(jù)處理技術(shù)、操作/交互系統(tǒng)、機(jī)電一體化等技術(shù)。人工智能軟件技術(shù)主要包括機(jī)器學(xué)習(xí)(Machine Learning,ML)技術(shù)，其中，深度學(xué)習(xí)(Deep Learning，DL)是機(jī)器學(xué)習(xí)中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)以使其更接近于最初的目標(biāo)，即人工智能。目前，深度學(xué)習(xí)主要應(yīng)用在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域。
[0024]深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，而機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的必經(jīng)路徑。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多個(gè)隱藏層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。研究深度學(xué)習(xí)的動(dòng)機(jī)在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本等。
[0025]動(dòng)物的行為按照其不同表現(xiàn)可以分為覓食行為、貯食行為、攻擊行為、防御行為、繁殖行為、節(jié)律行為、通訊行為等。
[0026]在毒理學(xué)、藥理學(xué)、運(yùn)動(dòng)損傷及其恢復(fù)、神經(jīng)科學(xué)等領(lǐng)域，通過(guò)評(píng)估動(dòng)物行為能夠?yàn)橄嚓P(guān)研究提供關(guān)鍵信息。隨著人工智能技術(shù)的發(fā)展，相關(guān)技術(shù)中也采用了機(jī)器學(xué)習(xí)的方法對(duì)動(dòng)物行為進(jìn)行識(shí)別。具體地，可以通過(guò)機(jī)器學(xué)習(xí)的方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，進(jìn)而通過(guò)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型對(duì)動(dòng)物行為進(jìn)行分類(lèi)，其中，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法包括有監(jiān)督的機(jī)器學(xué)習(xí)和無(wú)監(jiān)督的機(jī)器學(xué)習(xí)，有監(jiān)督的機(jī)器學(xué)習(xí)通過(guò)預(yù)先標(biāo)記有行為標(biāo)簽的樣本數(shù)據(jù)對(duì)
神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，使得神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)樣本數(shù)據(jù)及其對(duì)應(yīng)的行為標(biāo)簽之間的映射關(guān)系。無(wú)監(jiān)督的機(jī)器學(xué)習(xí)通過(guò)聚類(lèi)算法對(duì)同類(lèi)樣本數(shù)據(jù)進(jìn)行聚類(lèi)，從而實(shí)現(xiàn)對(duì)不同樣本數(shù)據(jù)進(jìn)行分類(lèi)。
[0027]然而，無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法難以快速?gòu)拇罅繑?shù)據(jù)中查找到用戶(hù)需要的動(dòng)物行為。
[0028]為此，針對(duì)有監(jiān)督的機(jī)器學(xué)習(xí)方法，相關(guān)技術(shù)中還包括基于關(guān)鍵點(diǎn)的動(dòng)物識(shí)別方法和基于視頻的分類(lèi)方法。
[0029]其中，基于關(guān)鍵點(diǎn)的動(dòng)物識(shí)別方法通過(guò)對(duì)動(dòng)物身體關(guān)鍵點(diǎn)進(jìn)行追蹤，再根據(jù)關(guān)鍵點(diǎn)的位置信息(如肢體關(guān)節(jié)等)對(duì)動(dòng)物行為進(jìn)行分類(lèi)。但此類(lèi)方法依賴(lài)于對(duì)關(guān)鍵點(diǎn)的追蹤，在關(guān)鍵點(diǎn)被遮擋或追蹤丟失時(shí)則會(huì)造成對(duì)動(dòng)物行為的分類(lèi)結(jié)果不準(zhǔn)確。另外，基于關(guān)鍵點(diǎn)追蹤還丟失了背景信息，造成與背景信息相關(guān)的動(dòng)物行為信息的遺漏，也會(huì)造成對(duì)動(dòng)物行為的分類(lèi)結(jié)果不夠準(zhǔn)確。
[0030]基于視頻的分類(lèi)方法雖然不需要進(jìn)行關(guān)鍵點(diǎn)追蹤，但需要逐幀基于視頻的像素值對(duì)視頻幀進(jìn)行動(dòng)作分類(lèi)，進(jìn)而根據(jù)動(dòng)作分類(lèi)結(jié)果識(shí)別動(dòng)物行為，此種方式造成計(jì)算量大，難以快速地識(shí)別動(dòng)物的行為。
[0031]為解決相關(guān)技術(shù)中存在的問(wèn)題，本申請(qǐng)實(shí)施例提供了一種行為識(shí)別方法、存儲(chǔ)介質(zhì)以及電子設(shè)備，以快速且準(zhǔn)確地對(duì)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種行為識(shí)別方法，其特征在于，包括：獲取參考視頻，所述參考視頻包括指定的行為內(nèi)容；獲取需要進(jìn)行行為識(shí)別的待識(shí)別視頻；通過(guò)基于孿生神經(jīng)網(wǎng)絡(luò)的視頻判別模型，獲取所述待識(shí)別視頻與所述參考視頻的相似度；根據(jù)所述相似度識(shí)別所述待識(shí)別視頻是否包括所述指定的行為內(nèi)容，得到識(shí)別結(jié)果。2.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述獲取需要進(jìn)行行為識(shí)別的待識(shí)別視頻，包括：獲取需要進(jìn)行行為識(shí)別的初始視頻；根據(jù)所述參考視頻的長(zhǎng)度從所述初始視頻中截取至少一個(gè)視頻片段；將截取的所述至少一個(gè)視頻片段確定為所述待識(shí)別視頻。3.根據(jù)權(quán)利要求2所述的行為識(shí)別方法，其特征在于，當(dāng)所述待識(shí)別視頻包括至少兩個(gè)視頻片段時(shí)，所述至少兩個(gè)視頻片段中相鄰的視頻片段部分重合，所述根據(jù)所述相似度識(shí)別所述待識(shí)別視頻是否包括所述指定的行為內(nèi)容，得到識(shí)別結(jié)果之后，還包括：根據(jù)同一視頻幀在不同待識(shí)別視頻中的識(shí)別結(jié)果，確定所述初始視頻中各視頻幀的評(píng)分；根據(jù)所述初始視頻中各視頻幀的評(píng)分，確定所述初始視頻的總評(píng)分；若所述總評(píng)分大于預(yù)設(shè)閾值，則確定所述初始視頻包括所述指定的行為內(nèi)容；若所述總評(píng)分不大于所述預(yù)設(shè)閾值，則確定所述初始視頻不包括所述指定的行為內(nèi)容。4.根據(jù)權(quán)利要求1所述的行為識(shí)別方法，其特征在于，所述視頻判別模型包括第一特征提取分支、第二特征提取分支、特征融合模塊以及相似度判別模塊，所述第一特征提取分支和所述第二特征提取分支的結(jié)構(gòu)相同，且網(wǎng)絡(luò)參數(shù)共享，所述通過(guò)基于孿生神經(jīng)網(wǎng)絡(luò)的視頻判別模型，獲取所述待識(shí)別視頻與所述參考視頻的相似度，包括：將所述參考視頻輸入所述第一特征提取分支進(jìn)行特征提取，得到第一幀序列特征；將所述待識(shí)別視頻輸入所述第二特征提取分支進(jìn)行特征提取，得到...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：朱富強(qiáng)，詹陽(yáng)，張慧康，張曦昊，王振，
申請(qǐng)(專(zhuān)利權(quán))人：中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院，
類(lèi)型：發(fā)明
國(guó)別省市：