基于視頻的飛鳥檢測方法及裝置制造方法及圖紙

本發明專利技術實施例提供一種基于視頻的飛鳥檢測方法及裝置，其中，該方法包括：獲取待測視頻；根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，其中，所述待檢區域為可能存在飛鳥的區域；對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段；分別對每個視頻段進行特征提取，并通過預設的第一SVM分類器對提取獲得的特征進行處理，從而確定所述待測視頻中是否存在飛鳥。本發明專利技術實施例提供的方法及裝置，能夠基于視頻對飛鳥進行準確有效的檢測。

Method and device for detecting birds based on video

The embodiment of the invention provides a method and device for detecting the birds, based on video, the method comprises: acquiring the video to be tested; according to the preset window in the gradient norm to be measured in each frame in the video image, the image of each frame to determine the area to be inspected, among them, the area to be inspected as possible there are birds in the region; to correlate the inspected region between each frame image, generating at least one predetermined length of the video segment; each video segment for feature extraction, and feature by the first SVM classifier to extract the presupposition for processing, so as to determine the presence of birds in the video to be tested. The method and the device provided by the embodiment of the invention can detect the flying bird accurately and effectively based on the video.

【技術實現步驟摘要】
基于視頻的飛鳥檢測方法及裝置
本專利技術實施例涉及視頻處理
，尤其涉及一種基于視頻的飛鳥檢測方法及裝置。
技術介紹
隨著低空空域的逐步開放，低空飛行安全問題也受到了更多的關注，其中，飛鳥是重要的低空威脅物之一。為了保障飛行器在復雜低空環境下的安全飛行，飛鳥檢測作為其中的一項關鍵技術，受到了國內外航空界與學術界的高度重視。與一般的目標檢測問題相比，飛鳥的外觀和運動模式都具有一定的特殊性，這使得對其進行穩定檢測變得更具挑戰性。尤其突出的是，由于飛鳥外觀的多樣性，很難構造出足夠的模版來處理不同的飛鳥外觀模式，并且由于飛鳥運動模式的多變性，很難采用一種穩定特征對其進行全面描述，這就造成了飛鳥檢測的準確性較低。
技術實現思路
本專利技術實施例提供一種基于視頻的飛鳥檢測方法及裝置，用以基于視頻對飛鳥進行準確有效的檢測。本專利技術實施例第一方面提供一種基于視頻的飛鳥檢測方法，該方法包括：獲取待測視頻；根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，其中，所述待檢區域為可能存在飛鳥的區域；對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段；分別對每個視頻段進行特征提取，并通過預設的第一SVM分類器對提取獲得的特征進行處理，從而確定所述待測視頻中是否存在飛鳥。本專利技術實施例第二方面提供一種基于視頻的飛鳥檢測裝置，該裝置包括：獲取模塊，獲取待測視頻；確定模塊，根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，其中，所述待檢區域為可能存在飛鳥的區域；生成模塊，對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段；處理模塊，分別對每個視頻段進行特征提取，并通過預設的第一SVM分類器對提取獲得的特征進行處理，從而確定所述待測視頻中是否存在飛鳥。本專利技術實施例，通過對特定環境進行視頻拍攝，并根據預設窗口在該視頻中每幀圖片上的梯度范數，確定每幀圖片上可能存在飛鳥的待檢區域，進而根據每個待檢區域的圖像特征，即可確定視頻中是否有飛鳥出現。本專利技術實施例不需要針對每種飛鳥都建立對應的穩定特征，也不需要針對每種飛鳥都建立對應的外觀模型，因此實現起來較簡單，且具有識別準確性較高的特點。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術一實施例提供的基于視頻的飛鳥檢測方法的流程圖；圖2為本專利技術一實施例提供的步驟103的執行方法流程圖；圖3為本專利技術一實施例提供的基于視頻的飛鳥檢測裝置的結構圖；圖4為本專利技術一實施例提供的生成模塊13的結構示意圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。本專利技術的說明書和權利要求書的術語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟的過程或結構的裝置不必限于清楚地列出的那些結構或步驟而是可包括沒有清楚地列出的或對于這些過程或裝置固有的其它步驟或結構。圖1為本專利技術一實施例提供的基于視頻的飛鳥檢測方法的流程圖，該方法可以由一飛鳥檢測裝置來執行，該飛鳥檢測裝置可以是獨立的硬件實體，也可以是設定在相應硬件實體中的可執行程序。如圖1所述，該方法包括如下步驟：步驟101、獲取待測視頻。本實施例中所涉及的待測視頻可以為從拍攝設備中直接獲得的實時視頻數據，也可以是從相應的數據庫中間接獲取到的歷史視頻數據。待測視頻的大小和格式本實施例中不做限定。在圖1中，還包括步驟102、根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，其中，所述待檢區域為可能存在飛鳥的區域。可選的，在實際應用中獲取到待測視頻后，可以將待測視頻逐幀分解為N-16個視頻段，每段視頻段有16幀圖片，針對每幀圖片利用預設的窗口計算其梯度范數(NG)，并將求得的梯度范數輸入訓練好的第二支持向量機((supportvectormachine，簡稱SVM)分類器中，確定每幀圖片上可能存在飛鳥的區域。其中，N為待測視頻的幀數，當然這里的“N”和“16”僅為示例說明而不是對本專利技術的唯一限定。進一步的，在提取預設窗口在每幀圖片上的梯度范數時，考慮到待檢測目標(即飛鳥)通常是獨立的，而且都有很好定義的封閉輪廓，首先將預設窗口的尺寸設定為一個特定的尺度，比如本實施例中可以采用8×8的預設窗口，組合該預設窗口的像素梯度的幅值作為一個64維的特征。為了對預設窗口進行學習，采用兩級的SVM進行訓練和分類。該分類器的訓練階段所使用的數據庫包含了現存各種鳥類處于飛行狀態的圖片，負樣本選取的是飛鳥圖片的背景。通過該分類器提取出每幀圖片可能存在飛鳥的待檢區域。在圖1中，還包括步驟103、對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段，并分別對每個視頻段進行特征提取，通過預設的第一SVM分類器對提取獲得的特征進行處理，從而確定所述待測視頻中是否存在飛鳥。圖2為本專利技術一實施例提供的步驟103的執行方法流程圖，如圖2所示，該方法包括：步驟201、確定所述待測視頻中是否存在相鄰兩幀圖片其待檢區域之間的相似度超過預設閾值，若存在，則執行步驟202-步驟203，否則執行步驟204。可選的，實際中可以使用MatchNet網絡計算相鄰幀間待檢區域的相似度，并確定所述相似度是否超過預設閾值。MatchNet網絡是由兩個并聯的特征網絡與一個計算匹配度的度量網絡串聯起來得到的。在訓練階段，特征網絡用作“雙塔”，共享參數。雙塔的輸出串聯在一起作為度量網絡的輸入。特征網絡由預處理層、五個卷積層以及一個bottleneck層串聯得到。其中，預處理層將整型的像素強度值歸一準化為(-1,1)之間的浮點型數值；重點的特征提取部分包含五個卷積層和三個池化層，其中，池化層選擇最大池化；bottleneck層是一個全連接層，用來降低特征的維度，避免過擬合的出現。匹配網絡由三個全連接層和一個softmax層組成，由softmax層輸出結果表示為兩個待檢區域相似度的值。在圖2中，還包括步驟202、將所述兩幀圖片的待檢區域關聯為同一待檢區域，并根據關聯處理后的所述待測視頻生成至少一個預設長度的視頻段。在圖2中，還包括步驟203、分別對每個視頻段中每個不同的待檢區域進行特征提取，完成提取后跳轉至步驟205。在圖2中，還包括步驟204、直接對所述待測視頻中每幀圖片上的待檢區域進行特征提取，完成提取后跳轉至步驟205。可選的，本實施例通過C3D特征提取器對待測視頻中每幀圖片上的待檢區域進行特征提取。其中，C3D網絡是一個處理視頻段的特征提取器。它包含五個卷積層，五個池化層，每個卷基層后面跟著一個池化層，兩個全連接層和一個softmax層用來預測分類結果。五個卷積層的神經元個數分別為64,128,256,256,256。同時，所有的卷積層有相同大小的本文檔來自技高網...

【技術保護點】
一種基于視頻的飛鳥檢測方法，其特征在于，包括：獲取待測視頻；根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，其中，所述待檢區域為可能存在飛鳥的區域；對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段；分別對每個視頻段進行特征提取，并通過預設的第一SVM分類器對提取獲得的特征進行處理，從而確定所述待測視頻中是否存在飛鳥。

【技術特征摘要】
1.一種基于視頻的飛鳥檢測方法，其特征在于，包括：獲取待測視頻；根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，其中，所述待檢區域為可能存在飛鳥的區域；對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段；分別對每個視頻段進行特征提取，并通過預設的第一SVM分類器對提取獲得的特征進行處理，從而確定所述待測視頻中是否存在飛鳥。2.根據權利要求1所述的方法，其特征在于，所述根據預設窗口在待測視頻中每幀圖片上的梯度范數，確定所述每幀圖片上的待檢區域，包括：通過第二SVM分類器對預設窗口在待測視頻中每幀圖片上的梯度范數進行處理，從而確定所述每幀圖片上的待檢區域，其中，所述第二SVM分類器中存儲有各種飛鳥在飛行狀態時的圖片。3.根據權利要求1所述的方法，其特征在于，所述對各幀圖片之間的待檢區域進行關聯，生成至少一個預設長度的視頻段，包括：確定所述待測視頻中是否存在相鄰兩幀圖片其待檢區域之間的相似度超過預設閾值；若存在，則將所述兩幀圖片的待檢區域關聯為同一待檢區域，并根據關聯處理后的所述待測視頻生成至少一個預設長度的視頻段。4.根據權利要求3所述的方法，其特征在于，所述分別對每個視頻段進行特征提取，包括：通過C3D特征提取器分別對每個視頻段中每個不同的待檢區域...

【專利技術屬性】
技術研發人員：曹先彬，田舒曼，李巖，鄭潔宛，劉俊英，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：北京,11