魚群三維跟蹤方法及系統技術方案

本發明專利技術提供了一種魚群三維跟蹤方法，包括：對頂視方向和第v側視方向的目標分別進行主骨架提取，其中，主骨架包括多個骨架點，v＝1或2；在從主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示第v側視方向的目標；通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配；根據主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對非遮擋目標進行運動關聯，并對遮擋目標進行匹配關聯。本發明專利技術還提供了一種魚群三維跟蹤系統。該魚群三維跟蹤方法及系統大大提高目標跟蹤效率與準確性。

Three dimensional tracking method and system for fish stocks

The present invention provides a three-dimensional fish tracking method, including: the top view and side view direction V direction of the target were the main skeleton extraction, the main frame comprises a plurality of skeleton points, v = 1 or 2; in the three screening from the main framework of skeleton points as feature points, based on the target table the concept of complexity using a double feature point model to represent the top view direction of the target and the use of three feature points of the model represents the V side direction of the target; feature point matching by epipolar constraint on different perspective direction, and / or by the trajectory consistency of different perspectives to the target feature point matching; according to the the number or length of the skeleton endpoints matched target occlusion to distinguish target and non target occlusion target, movement related to non occlusion and occlusion, object matching correlation. The invention also provides a fish school three-dimensional tracking system. The fish swarm 3D tracking method and system greatly improve the efficiency and accuracy of target tracking.

【技術實現步驟摘要】
魚群三維跟蹤方法及系統
本專利技術涉及計算機視覺
，具體而言，涉及魚群三維跟蹤方法及系統。
技術介紹
魚類行為指魚對環境變化所表現出的外在反應，包括魚在自然條件或實驗條件下的各種個體和群體行為。魚類行為的研究對動物行為進化和漁業生產發展均具有重要意義。在各種研究魚類行為的模式中，基于視頻的模式由于簡單易行，適用性廣等特點，逐漸成為魚類行為研究的一種重要模式。采用基于視頻的模式對魚類行為進行分析，首先要用視頻獲取設備對魚的運動狀態進行記錄，然后對視頻圖像中的每條魚進行量化分析，得到它們的運動軌跡。傳統方法一般通過在每幀圖像中手動標注來得到這些軌跡信息，這種方式不但效率低，而且精度不高。近年來，隨著計算機技術的發展，基于計算機視覺的魚跟蹤為研究者提供了新的有效途徑，并逐漸成為研究的熱點。根據魚所處環境的不同，基于計算機視覺的魚跟蹤可以分為二維跟蹤和三維跟蹤兩種方式。二維跟蹤將魚限制在裝有淺水的容器中，則魚的運動可以近似為平面運動。這種方式雖然能夠對魚的行為進行分析，但跟蹤僅限在二維空間中進行，難以全面描述魚的運動行為。三維跟蹤模擬魚在自然環境中的運動方式，得到的軌跡數據更能反映魚的真實行為，因而受到了更多研究者的重視。在三維空間中跟蹤魚的運動軌跡屬于計算機視覺中的多目標三維跟蹤問題。它面臨如下幾個困難：魚是一種紋理較少的非剛性目標，它在游動中會產生各種變化的形狀，這為檢測器的設計帶來了困難；另外，魚在游動中會出現頻繁的相互遮擋現象，提高了檢測的難度；基于雙目視覺的三維跟蹤會受到水面折射的影響，且較難處理跟蹤過程中出現的遮擋問題。為了克服雙目視覺的不足，使用多臺相機從不同方向垂直于水面進行拍攝是一種較好的方案。但該方案又會因為目標在不同視角方向間的表觀變化而導致立體匹配難度的增大；目標在遮擋過程中出現的分裂與合并現象為目標關聯帶來了極大的困難；此外，目標檢測和立體匹配過程中出現的錯誤也會直接影響到目標關聯的準確性。雖然當前的跟蹤方法可以在一些實驗條件下得到魚的三維運動軌跡，但并未完全解決以上問題。因此，三維空間中的魚跟蹤仍然是一個極具挑戰性的問題。
技術實現思路
本專利技術正是基于上述問題，提出了魚群三維跟蹤方法及系統，可以提高目標跟蹤的準確性。有鑒于此，本專利技術的一方面提出了魚群三維跟蹤方法，包括：對頂視方向和第v側視方向的目標分別進行主骨架提取，其中，所述主骨架包括多個骨架點，v＝1或2；在從所述主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示第v側視方向的目標；通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配；根據所述主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對所述非遮擋目標進行運動關聯，并對所述遮擋目標進行匹配關聯。進一步地，所述“對頂視方向和第v側視方向的目標分別進行主骨架提取”包括：分別獲取目標在頂視方向和第v側視方向的圖像；基于背景差分法從所獲取的目標在不同視角方向的圖像分割出目標的運動區域，其中，所述運動區域包括多個像點；基于快速行進算法從目標在不同視角方向的圖像提取目標的主骨架。進一步地，所述特征點包括：中心特征點、頭部特征點和尾部特征點；所述“在從所述主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示兩個側視方向的目標”包括：從所述主骨架中篩選最能代表目標形狀特征的骨架點作為中心特征點；在第v側視方向上，使用所述主骨架的兩個端點和中心特征點組成的三特征點模型表示第v側視方向的目標；在頂視方向上，根據骨架點到所述運動區域邊緣的最短距離獲取各骨架點的寬度；計算所述中心特征點分別到所述主骨架兩個端點之間的所有骨架點的寬度的平均值，分別記作第一平均寬度和第二平均寬度；比較所述第一平均寬度和所述第二平均寬度，根據比較結果區分所述主骨架為剛性區域和非剛性區域，分別標定所述主骨架在所述剛性區域和非剛性區域內的端點為頭部特征點和尾部特征點；使用頭部特征點和中心特征點組成的雙特征點模型表示頂視方向的目標。進一步地，所述“通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配”包括：分別于目標在頂視方向的圖像和第v側視方向的圖像中相同位置選擇八個匹配點，基于八點法計算基礎矩陣；根據所述基礎矩陣獲取頂視方向的目標的中心特征點在第v側視方向對應的極線，并利用該極線對頂視方向的目標和第v側視方向的目標進行中心特征點匹配；當第v側視方向的目標的中心特征點到所述極線的距離低于設定的立體匹配閾值時，極線約束條件下的立體匹配成功，反之，極線約束條件下的立體匹配失敗；當極線約束條件下的立體匹配失敗時，利用軌跡一致性對頂視方向的目標和第v側視方向的目標進行立體匹配。進一步地，所述“根據所述主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對所述非遮擋目標進行運動關聯，并對所述遮擋目標進行匹配關聯”包括：判斷一目標的骨架點數量是否大于存儲的主骨架中骨架點數量最大值，并判斷該目標的主骨架端點數量是否大于2；當任一判定結果為是時，標定該目標為遮擋目標，反之，標定該目標為非遮擋目標；當一目標為非遮擋目標時，根據當前幀的目標it相對前一幀的目標it-1發生的位置變化pc(it-1,it)與方向變化dc(it-1,it)，構建目標it的關聯代價函數：其中，dcmax和pcmax分別為相鄰幀間的最大方向變化和最大位置變化，w和1-w分別為方向變化和位置變化在所述關聯代價函數中所占權重，并根據所述關聯代價函數，基于貪心算法對所述非遮擋目標進行局部最優化關聯；當一目標為遮擋目標時，給在頂視方向的每個目標it建立狀態標志：當當前幀的目標it的狀態標識為+1時，根據第v側視方向離當前幀最近的n幀圖像對遮擋前后所有狀態標識為-1的目標it進行匹配關聯，以保證頂視方向的目標在遮擋前后均位于第v側視方向的同一條軌跡片段中。本專利技術另一專利技術提供了一種魚群三維跟蹤系統，包括：主骨架提取模塊，用于對頂視方向和第v側視方向的目標分別進行主骨架提取，其中，所述主骨架包括多個骨架點，v＝1或2；特征點提取模塊，用于在從所述主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示第v側視方向的目標；立體匹配模塊，用于通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配；目標關聯模塊，用于根據所述主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對所述非遮擋目標進行運動關聯，并對所述遮擋目標進行匹配關聯。進一步地，所述主骨架提取模塊包括：圖像獲取單元，用于分別獲取目標在頂視方向和第v側視方向的圖像；區域分割單元，用于基于背景差分法從所獲取的目標在不同視角方向的圖像分割出目標的運動區域，其中，所述運動區域包括多個像點；骨架提取單元，用于基于快速行進算法從目標在不同視角方向的圖像提取目標的主骨架。進一步地，所述特征點包括：中心特征點、頭部特征點和尾部特征點；所述特征點提取模塊包括：篩選單元，用于從本文檔來自技高網...

【技術保護點】
一種魚群三維跟蹤方法，其特征在于，包括：對頂視方向和第v側視方向的目標分別進行主骨架提取，其中，所述主骨架包括多個骨架點，v＝1或2；在從所述主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示第v側視方向的目標；通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配；根據所述主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對所述非遮擋目標進行運動關聯，并對所述遮擋目標進行匹配關聯。

【技術特征摘要】
1.一種魚群三維跟蹤方法，其特征在于，包括：對頂視方向和第v側視方向的目標分別進行主骨架提取，其中，所述主骨架包括多個骨架點，v＝1或2；在從所述主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示第v側視方向的目標；通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配；根據所述主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對所述非遮擋目標進行運動關聯，并對所述遮擋目標進行匹配關聯。2.根據權利要求1所述的魚群三維跟蹤方法，其特征在于，所述“對頂視方向和第v側視方向的目標分別進行主骨架提取”包括：分別獲取目標在頂視方向和第v側視方向的圖像；基于背景差分法從所獲取的目標在不同視角方向的圖像分割出目標的運動區域，其中，所述運動區域包括多個像點；基于快速行進算法從目標在不同視角方向的圖像提取目標的主骨架。3.根據權利要求2所述的魚群三維跟蹤方法，其特征在于，所述特征點包括：中心特征點、頭部特征點和尾部特征點；所述“在從所述主骨架中篩選三個骨架點作為特征點后，根據目標表觀的復雜度使用雙特征點模型表示頂視方向的目標及使用三特征點模型表示兩個側視方向的目標”包括：從所述主骨架中篩選最能代表目標形狀特征的骨架點作為中心特征點；在第v側視方向上，使用所述主骨架的兩個端點和中心特征點組成的三特征點模型表示第v側視方向的目標；在頂視方向上，根據骨架點到所述運動區域邊緣的最短距離獲取各骨架點的寬度；計算所述中心特征點分別到所述主骨架兩個端點之間的所有骨架點的寬度的平均值，分別記作第一平均寬度和第二平均寬度；比較所述第一平均寬度和所述第二平均寬度，根據比較結果區分所述主骨架為剛性區域和非剛性區域，分別標定所述主骨架在所述剛性區域和非剛性區域內的端點為頭部特征點和尾部特征點；使用頭部特征點和中心特征點組成的雙特征點模型表示頂視方向的目標。4.根據權利要求2所述的魚群三維跟蹤方法，其特征在于，所述“通過極線約束對不同視角方向的目標進行特征點匹配，和/或通過軌跡一致性對不同視角方向的目標進行特征點匹配”包括：分別于目標在頂視方向的圖像和第v側視方向的圖像中相同位置選擇八個匹配點，基于八點法計算基礎矩陣；根據所述基礎矩陣獲取頂視方向的目標的中心特征點在第v側視方向對應的極線，并利用該極線對頂視方向的目標和第v側視方向的目標進行中心特征點匹配；當第v側視方向的目標的中心特征點到所述極線的距離低于設定的立體匹配閾值時，極線約束條件下的立體匹配成功，反之，極線約束條件下的立體匹配失敗；當極線約束條件下的立體匹配失敗時，利用軌跡一致性對頂視方向的目標和第v側視方向的目標進行立體匹配。5.根據權利要求1所述的魚群三維跟蹤方法，其特征在于，所述“根據所述主骨架的長度或端點數量區分匹配后的目標為遮擋目標和非遮擋目標，對所述非遮擋目標進行運動關聯，并對所述遮擋目標進行匹配關聯”包括：判斷一目標的骨架點數量是否大于存儲的主骨架中骨架點數量最大值，并判斷該目標的主骨架端點數量是否大于2；當任一判定結果為是時，標定該目標為遮擋目標，反之，標定該目標為非遮擋目標；當一目標為非遮擋目標時，根據當前幀的目標it相對前一幀的目標it-1發生的位置變化pc(it-1,it)與方向變化dc(it-1,it)，構建目標it的關聯代價函數：其中，dcmax和pcmax分別為相鄰幀間的最大方向變化和最大位置變化，w和1-w分別為方向變化和位置變化在所述關聯代價函數中所占權重，并根據所述關聯代價函數，基于貪心算法對所述非遮擋目標進行局部最優化關聯；當一目標為遮擋目標時，給在頂視方向的每個目標it建立狀態標志：當當前幀的目標it的狀態標識為+1時，根據第v側視方向離當前幀最近的n幀圖像對遮擋前后所有狀態標識為-1的目標it進行匹配關聯，以保證頂視方向的目標在遮...

【專利技術屬性】
技術研發人員：錢志明，寸天睿，秦海菲，劉曉青，王春林，
申請(專利權)人：楚雄師范學院，
類型：發明
國別省市：云南,53