【技術實現步驟摘要】
本申請涉及視頻摘要生成，特別涉及一種露天非煤礦山的視頻摘要生成方法及相關設備。
技術介紹
1、在智能化和自動化不斷進步的露天非煤礦山領域，視頻監控已成為關鍵的安全管理工具之一。露天非煤礦山環境中的視頻數據量巨大，不僅包含實時監控畫面，還記錄了作業過程中的每一個細節。然而，隨著視頻數據量的激增，如何從海量視頻內容中快速提取有價值的信息，成為提升露天非煤礦山安全管理效率的一大挑戰。用戶需要一種能夠迅速識別關鍵事件并生成摘要的工具，以輔助進行快速決策和響應。
2、目前，視頻摘要技術在露天非煤礦山領域的應用日益廣泛，其目標是通過篩選和總結視頻中最關鍵和最有意義的部分，為礦業工程師和安全監管人員提供一個時間節省且信息豐富的視頻概覽。現有的視頻摘要技術主要分為基于傳統圖像處理技術和基于深度學習的方法。基于傳統方法的視頻摘要技術包括基于關鍵幀的方法、基于鏡頭切換的方法、基于內容分析的方法、基于運動分析的方法、基于聚類的方法。基于關鍵幀的方法選擇依據幀間變化、顏色、紋理等視覺特征。但卻無法充分表達視頻中的動態變化和時間序列信息。通過基于鏡頭切換的方法也是一種有效的技術，但是該方法容易遺漏重要內容或選擇無關內容，對鏡頭內的復雜變化可能無法有效捕捉。使用基于內容分析的方法進行視頻摘要時，因其對內容語義理解有限，同時高度依賴于特征提取的準確性，因此對于復雜場景無法有效工作。基于運動分析的方法受限于視頻中的運動目標和軌跡，方法帶有一定的局限性。這些方法在露天非煤礦山的視頻摘要中應用時，在一定程度上可以捕捉視頻的靜態和動態特征，但往往難以適應
3、綜合上述原因，視頻摘要的方法很多，傳統方法大多依賴手工特征，這些特征難以充分捕獲視頻內容的復雜性；深度學習的方法大多依賴于單一特征或雙重特征，所選特征無法完全捕獲視頻內容的多樣性，無論是傳統方法還是深度學習方法，它們在處理視頻摘要時往往依賴于單一或有限的特征集，這限制了模型對視頻內容復雜性和多樣性的捕捉能力。由此可見，目前的視頻摘要生成方法存在視頻摘要的準確性低的問題。
技術實現思路
1、本申請提供了一種露天非煤礦山的視頻摘要生成方法及相關設備，可以解決視頻摘要的準確性低的問題。
2、第一方面，本申請實施例提供了一種露天非煤礦山的視頻摘要生成方法，該視頻摘要生成方法包括：
3、獲取每個目標非煤礦山對應的多個目標視頻；
4、分別針對每個目標視頻，對目標視頻進行特征提取，得到目標視頻的時間特征、空間特征和光流特征，并利用特征增強模型分別對時間特征、空間特征和光流特征進行特征增強，得到目標視頻的最終時間特征、最終空間特征和最終光流特征；特征增強模型包括依次連接的第一特征增強子模型和第二特征增強子模型，第一特征增強子模型和第二特征增強子模型均包括一個特征增強子模型，特征增強子模型包括依次連接的第一增強單元、第二增強單元、第一卷積單元、第三增強單元、第二卷積單元、第四增強單元，第一增強單元的輸入端為特征增強子模型的輸入端，第四增強單元的輸出端為特征增強子模型的輸出端，第一增強單元、第二增強單元、第三增強單元、第四增強單元均包括一個增強單元，增強單元包括依次連接的卷積子單元、密集子單元、池化子單元和注意力子單元，卷積子單元的輸入端為增強單元的輸入端，注意力子單元的輸出端為增強單元的輸出端；
5、根據每個目標視頻的最終時間特征、最終空間特征和最終光流特征，利用摘要生成模型生成每個目標視頻的視頻摘要；
6、基于所有視頻摘要構建損失函數，并利用損失函數對特征增強模型和摘要生成模型進行優化，得到優化后的特征增強模型、優化后的摘要生成模型；損失函數用于描述所有視頻摘要的準確性；
7、獲取待處理非煤礦山對應的當前視頻，并利用優化后的特征增強模型和優化后的摘要生成模型，基于當前視頻生成待處理非煤礦山對應的最終視頻摘要。
8、可選的，利用特征增強模型分別對時間特征、空間特征和光流特征進行特征增強，得到目標視頻的最終時間特征、最終空間特征和最終光流特征，包括：
9、通過公式：
10、
11、獲取目標視頻的最終特征
12、其中，當l＝s時，表示目標視頻的最終空間特征，當l＝t時，表示目標視頻的最終空間特征，當l＝f時，表示目標視頻的最終光流特征，表示特征增強模型的運算，表示第一特征增強子模型的運算，表示第二特征增強子模型的運算，pl表示目標視頻的初始特征，當l＝s時，ps表示目標視頻的空間特征，當l＝t時，pt表示目標視頻的時間特征，當l＝f時，pf表示目標視頻的光流特征。
13、可選的，注意力子單元包括全局平均池化層、空間注意力層、時間注意力層、第一加法層、第二加法層；
14、全局平均池化層的輸入端和第一加法層的輸入端均為注意力子單元的輸入端，第二加法層的輸出端為注意力子單元的輸出端；
15、全局平均池化層的輸出端分別與空間注意力層的輸入端、時間注意力層的輸入端相連接，時間注意力層的輸出端與第一加法層的輸入端相連接，空間注意力層的輸出端與第二加法層的輸入端相連接，第一加法層的輸出端與第二加法層的輸入端相連接。
16、可選的，空間注意力層包括依次連接的空間池化塊、第一降維塊、第一全連接塊、第一激活函數塊、第一轉換塊；
17、空間池化塊的輸入端為空間注意力層的輸入端，第一轉換塊的輸出端為空間注意力層的輸出端；
18、時間注意力層包括依次連接的時間池化塊、第二降維塊、第二全連接塊、第二激活函數塊、第二轉換塊；
19、時間池化塊的輸入端為時間注意力層的輸入端，第二轉換塊的輸出端為時間注意力層的輸出端。
20、可選的，摘要生成模型包括依次連接的加法子模型、第一線性子模型、第一激活子模型、正則化子模型、標準化子模型、第二線性子模型、第二激活子模型；
21、加法子模型的輸入端為摘要生成模型的輸入端，第二激活子模型的輸出端為摘要生成模型的輸出端。
22、可選的，損失函數為：
23、lossce＝-clabellogcout-(1-clabel)log(1-cout)
24、其中，lossce表示損失函數的值，clabel表示所有目標視頻的真實摘要的集合，cout表示所有目標視頻的視頻摘要的集合。
25、可選的，基于所有視頻摘要構建損失函數，并利用損失函數對特征增強模型和摘要生成模型進行優化，得到優化后的特征增強模型、優化后的摘要生成模型，包括：
26、判斷損失函數的值是否小于損失函數預設值；
27、若是，則將特征增強模型作為優化后的特征增強模型，將摘要生成模型作為優化后的摘要生成模型；
28、否則，調整特征增強模型和摘要生成模型中的參數，并返回分別針對每個目標視頻，對目標視頻進行本文檔來自技高網...
【技術保護點】
1.一種露天非煤礦山的視頻摘要生成方法，其特征在于，包括：
2.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述利用特征增強模型分別對時間特征、空間特征和光流特征進行特征增強，得到所述目標視頻的最終時間特征、最終空間特征和最終光流特征，包括：
3.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述注意力子單元包括全局平均池化層、空間注意力層、時間注意力層、第一加法層、第二加法層；
4.根據權利要求3所述的視頻摘要生成方法，其特征在于，所述空間注意力層包括依次連接的空間池化塊、第一降維塊、第一全連接塊、第一激活函數塊、第一轉換塊；
5.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述摘要生成模型包括依次連接的加法子模型、第一線性子模型、第一激活子模型、正則化子模型、標準化子模型、第二線性子模型、第二激活子模型；
6.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述損失函數為：
7.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述基于所有視頻摘要構建損失函數，并利用所述損失函數對所述特
8.一種露天非煤礦山的視頻摘要生成裝置，其特征在于，包括：
9.一種終端設備，包括存儲器、處理器以及存儲在存儲器中并可在處理器上運行的計算機程序，其特征在于，處理器執行計算機程序時實現如權利要求1至7任一項的露天非煤礦山的視頻摘要生成方法。
10.一種計算機可讀存儲介質，計算機可讀存儲介質存儲有計算機程序，其特征在于，計算機程序被處理器執行時實現如權利要求1至7任一項的露天非煤礦山的視頻摘要生成方法。
...【技術特征摘要】
1.一種露天非煤礦山的視頻摘要生成方法，其特征在于，包括：
2.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述利用特征增強模型分別對時間特征、空間特征和光流特征進行特征增強，得到所述目標視頻的最終時間特征、最終空間特征和最終光流特征，包括：
3.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述注意力子單元包括全局平均池化層、空間注意力層、時間注意力層、第一加法層、第二加法層；
4.根據權利要求3所述的視頻摘要生成方法，其特征在于，所述空間注意力層包括依次連接的空間池化塊、第一降維塊、第一全連接塊、第一激活函數塊、第一轉換塊；
5.根據權利要求1所述的視頻摘要生成方法，其特征在于，所述摘要生成模型包括依次連接的加法子模型、第一線性子模型、第一激活子模型、正則化子模型、標準化子模型、第二線性子模型...
【專利技術屬性】
技術研發人員：黃建華，易志平，黃松，韋志東，林琳，帥志康，馬子驥，趙峰，
申請(專利權)人：廣西工業設計集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。