基于視覺變壓器改進的Fire-ViT隧道火災預警系統技術方案

其具體地公開了一種基于視覺變壓器(Vision?Transformer)(ViT)改進的Fire?ViT隧道火災預警系統，其采用基于深度學習的計算機視覺技術對攝像頭采集的公路隧道火災圖像進行圖像分析，使用Transformer作為核心算法提取出公路隧道火災圖像的序列特征，挖掘出火災圖像中的火焰顏色、大小和形狀等關鍵信息，以智能識別火災的程度等級。這樣，可以對公路隧道火災進行準確預警，及時了解火災的嚴重程度，以便于救援隊伍制定合理的救援計劃，從而有效利用救援資源，減少火災造成的危害。

【技術實現步驟摘要】

本申請涉及智能報警，且更為具體地，涉及一種基于視覺變壓器(visiontransformer)(vit)改進的fire-vit隧道火災預警系統。

技術介紹

1、近年來，隨著中國社會經濟的快速發展，科技的不斷進步，公路隧道交通設施進入了快速建設期。隧道在交通運輸中占據重要的位置，研究表明，隧道火災是公共交通中危害最大的一類安全事故，其發生火災事故的危險性與隧道里程和交通流量成正相關性。由于公路隧道狹長結構與相對密閉的環境條件，不具備空曠的救援和疏散場地，一旦發生火災，人員和車輛疏散以及滅火救援工作十分困難，容易造成重大經濟損失和人員傷。因此，為加強保障公路隧道的運營安全，隧道火災早期監測與預警安全系統已經納入各國公路隧道建設的重要組成部分。

2、當前，火災探測方法可分為傳統物聯網傳感器火災報警和機器視覺火災探測兩大類。其中，傳統物聯網傳感器火災報警方法利用傳感器來監測火災火焰的煙霧、溫度、光等特性，以實現對火災的探測和報警。然而，由于傳感器易受粉塵、濕度、風速和汽車尾氣等因素的影響，可能會造成精確度不足和頻繁誤報警，并且無法提供有關火災大小、規模、嚴重程度等信息。相比之下，機器視覺火災探測方法利用計算機視覺技術對隧道內圖像的分析和處理，以實現對火災的自動監測和預警，能夠克服傳統物聯網傳感器火災報警方法的一些局限性。然而，基于機器視覺的火災探測方式也存在一些問題，如特征提取不準確、模型泛化能力弱等，導致誤報率和漏報率較高。因此，期待一種優化的基于視覺變壓器改進的fire-vit隧道火災預警系統。

<b>技術實現思路

1、為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種基于視覺變壓器改進的fire-vit隧道火災預警系統，其采用基于深度學習的計算機視覺技術對攝像頭采集的公路隧道火災圖像進行圖像分析，使用transformer作為核心算法提取出公路隧道火災圖像的序列特征，挖掘出火災圖像中的火焰顏色、大小和形狀等關鍵信息，以智能識別火災的程度等級。這樣，可以對公路隧道火災進行準確預警，及時了解火災的嚴重程度，以便于救援隊伍制定合理的救援計劃，從而有效利用救援資源，減少火災造成的危害。

2、相應地，根據本申請的一個方面，提供了一種基于視覺變壓器改進的fire-vit隧道火災預警系統，其包括：

3、火災圖像獲取模塊，用于獲取由攝像頭采集的公路隧道火災圖像；

4、火焰區域局部分割模塊，用于對所述公路隧道火災圖像進行火焰區域局部分割以得到火焰區域圖像塊的序列；

5、火焰區域序列特征提取模塊，用于對所述火焰區域圖像塊的序列進行序列編碼以得到序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列；

6、火焰區域全局自相關融合模塊，用于對所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列進行特征自相關注意力融合以得到火焰全局特征向量；

7、火災識別模塊，用于基于所述火焰全局特征向量，確定火災的識別結果。

8、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述火焰區域局部分割模塊，包括：火焰目標檢測單元，用于將所述公路隧道火災圖像通過火焰目標檢測網絡以得到候選火焰區域圖像；圖像分塊單元，用于對所述候選火焰區域圖像進行圖像分塊處理以得到所述火焰區域圖像塊的序列。

9、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述火焰區域序列特征提取模塊，包括：圖像塊嵌入化單元，用于對所述火焰區域圖像塊的序列中的各個火焰區域圖像塊分別進行嵌入編碼以得到火焰區域圖像塊嵌入編碼特征向量的序列；局部區域序列編碼單元，用于將所述火焰區域圖像塊嵌入編碼特征向量的序列通過基于transformer編碼器的火焰局部區域序列編碼器以得到所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列。

10、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述圖像塊嵌入化單元，用于：將所述火焰區域圖像塊的序列通過基于多層感知機的圖像塊嵌入編碼器以得到所述火焰區域圖像塊嵌入編碼特征向量的序列。

11、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述火焰區域全局自相關融合模塊，用于：將所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列通過自相關信號特征顯著化融合網絡以得到所述火焰全局特征向量。

12、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述火焰區域全局自相關融合模塊，包括：特征向量權重計算單元，用于計算所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列中各個序列編碼后的火焰區域圖像塊嵌入編碼特征向量的特征向量權重以得到特征向量權重的序列；歸一化單元，用于對所述特征向量權重的序列進行歸一化以得到歸一化特征向量權重的序列；權重施加融合單元，用于以所述歸一化特征向量權重的序列作為權重，計算所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列的逐向量加權和以得到所述火焰全局特征向量。

13、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述特征向量權重計算單元，用于：分別計算所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列中各個序列編碼后的火焰區域圖像塊嵌入編碼特征向量與各個權重矩陣之間的矩陣乘積以得到編碼序列火焰區域圖像塊特征向量的序列；將所述編碼序列火焰區域圖像塊特征向量的序列中的各個編碼序列火焰區域圖像塊特征向量的序列加上偏置權重向量以得到偏置序列火焰區域圖像塊特征向量的序列；將所述偏置序列火焰區域圖像塊特征向量的序列通過selu激活函數以得到激活序列火焰區域圖像塊特征向量的序列；計算所述激活序列火焰區域圖像塊特征向量的序列中各個激活序列火焰區域圖像塊特征向量與預設參考特征向量的轉置向量之間的乘積以得到所述特征向量權重的序列。

14、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述火災識別模塊，用于：將所述火焰全局特征向量通過基于分類器的火災識別器以得到所述識別結果，所述識別結果為火災程度等級標簽。

15、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，還包括用于對所述火焰目標檢測網絡、所述基于多層感知機的圖像塊嵌入編碼器、所述基于transformer編碼器的火焰局部區域序列編碼器、所述自相關信號特征顯著化融合網絡和所述基于分類器的火災識別器進行訓練的訓練模塊。

16、在上述基于視覺變壓器改進的fire-vit隧道火災預警系統中，所述訓練模塊，包括：訓練數據獲取單元，用于獲取訓練數據，所述訓練數據包括由攝像頭采集的訓練公路隧道火災圖像，以及，火災程度等級標簽的真實值；訓練圖像火焰檢測單元，用于將所述訓練公路隧道火災圖像通過所述火焰目標檢測網絡以得到訓練候選火焰區域圖像；訓練圖像分塊單元，用于對所述訓練候選火焰區域圖像進行圖像分塊處理以得到訓練火焰區域圖像塊的序列；訓練圖像塊嵌入編碼單元，用于將所述訓練火焰區域圖像塊的序列通過所述基于多層感知機的圖像本文檔來自技高網...

【技術保護點】

1.一種基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，包括：

2.根據權利要求1所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，所述火焰區域全局自相關融合模塊，包括：

3.根據權利要求2所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，所述特征向量權重計算單元，用于：分別計算所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列中各個序列編碼后的火焰區域圖像塊嵌入編碼特征向量與各個權重矩陣之間的矩陣乘積以得到編碼序列火焰區域圖像塊特征向量的序列；將所述編碼序列火焰區域圖像塊特征向量的序列中的各個編碼序列火焰區域圖像塊特征向量的序列加上偏置權重向量以得到偏置序列火焰區域圖像塊特征向量的序列；將所述偏置序列火焰區域圖像塊特征向量的序列通過Selu激活函數以得到激活序列火焰區域圖像塊特征向量的序列；計算所述激活序列火焰區域圖像塊特征向量的序列中各個激活序列火焰區域圖像塊特征向量與預設參考特征向量的轉置向量之間的乘積以得到所述特征向量權重的序列。

4.根據權利要求3所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，所述火焰區域局部分割模塊，包括：

5.根據權利要求4所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，所述火焰區域序列特征提取模塊，包括：

6.根據權利要求5所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，所述圖像塊嵌入化單元，用于：

7.根據權利要求6所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，還包括用于對所述火焰目標檢測網絡、所述基于多層感知機的圖像塊嵌入編碼器、所述基于Transformer編碼器的火焰局部區域序列編碼器、所述自相關信號特征顯著化融合網絡和所述基于分類器的火災識別器進行訓練的訓練模塊。

8.根據權利要求7所述的基于視覺變壓器改進的Fire-ViT隧道火災預警系統，其特征在于，所述訓練模塊，包括：

...

【技術特征摘要】

1.一種基于視覺變壓器改進的fire-vit隧道火災預警系統，其特征在于，包括：

2.根據權利要求1所述的基于視覺變壓器改進的fire-vit隧道火災預警系統，其特征在于，所述火焰區域全局自相關融合模塊，包括：

3.根據權利要求2所述的基于視覺變壓器改進的fire-vit隧道火災預警系統，其特征在于，所述特征向量權重計算單元，用于：分別計算所述序列編碼后的火焰區域圖像塊嵌入編碼特征向量的序列中各個序列編碼后的火焰區域圖像塊嵌入編碼特征向量與各個權重矩陣之間的矩陣乘積以得到編碼序列火焰區域圖像塊特征向量的序列；將所述編碼序列火焰區域圖像塊特征向量的序列中的各個編碼序列火焰區域圖像塊特征向量的序列加上偏置權重向量以得到偏置序列火焰區域圖像塊特征向量的序列；將所述偏置序列火焰區域圖像塊特征向量的序列通過selu激活函數以得到激活序列火焰區域圖像塊特征向量的序列；計算所述激活序列火焰區域圖像塊特征向量的序列中各個激活序列火焰區域圖像塊特征向量與預設參考特征向量的轉置...

【專利技術屬性】
技術研發人員：劉曉冰，徐靈芝，
申請(專利權)人：江西交通職業技術學院，
類型：發明
國別省市：