一種基于立體視覺的混凝土橋梁裂縫智能評估方法技術

本發明專利技術涉及混凝土裂縫評估方法的技術領域，更具體地，涉及一種基于立體視覺的混凝土橋梁裂縫智能評估方法，包括如下步驟：建立用于識別混凝土橋梁表面圖像中的裂紋的分類模型，然后利用分類模型識別出混凝土橋梁表面圖像中的裂紋；建立立體視覺坐標系；利用立體視覺坐標系建立深度模型，深度模型用于量化混凝土橋梁表面圖像中的裂紋，從而得到量化的裂紋信息；利用量化的裂紋信息在三維模型中進對裂紋進行評估。該方法由一組廣角圖像生成的三維重建模型，包括使用深度學習從長焦圖像中提取的裂縫信息，可以改進混凝土結構的檢測。可以改進混凝土結構的檢測。可以改進混凝土結構的檢測。

【技術實現步驟摘要】
一種基于立體視覺的混凝土橋梁裂縫智能評估方法


[0001]本專利技術涉及混凝土裂縫評估方法的
，更具體地，涉及一種基于立體視覺的混凝土橋梁裂縫智能評估方法。

技術介紹

[0002]混凝土橋梁的表面裂縫是結構完好性的重要指標。由兩個相同的攝像機組成的立體視覺已被使用，導出的深度信息來量化裂紋特征。然而，由于需要較高的測量分辨率，因此通常使用變焦鏡頭，這使得同時進行裂紋定位和表征變得困難。
[0003]計算機視覺技術可用于自動審查無人機捕獲的圖像。邊緣檢測是從混凝土表面圖像進行裂縫檢測的最常用方法之一，其中裂縫和背景之間的邊界可以用邊緣表示。主要用于文本檢測的圖像二值化是有效識別裂紋像素的另一種方法，因為裂紋和文本都由可分辨的暗曲線和線條組成。分別利用細化和邊緣檢測方法將檢測到的裂紋像素進一步劃分為骨架(一組中心像素)和邊緣；隨后，可以通過最接近骨架像素的兩個邊緣像素之間的距離來計算裂紋寬度。盡管計算機視覺技術已顯示出改進檢測的巨大潛力，但在實踐中，將表面圖像上的非裂紋(如陰影、污點和孔洞)與裂紋區分開來仍具有挑戰性。
[0004]卷積神經網絡(Convolutional neural network，CNN)是一種深度學習方法；如今，許多深度學習方法已經成功地實現了從表面圖像自動識別裂紋。然而，在實踐中需要一個框架來有效地評估三維(3D)空間中結構的整個外部。事實上，了解表面裂紋的確切位置和相應的嚴重程度對于仔細了解局部損傷對全尺寸橋梁整體健康的影響非常重要。
[0005]為了在實踐中評估裂紋信息，運動結構(structure from motion，SFM)被認為是處理序列圖像(如從無人機勘測中獲取的圖像)的有效工具，用于結構的三維重建。與使用無人機拍攝的單一圖像相比，SFM的應用允許定位結構上的裂紋，并更好地理解裂紋對結構健康的意義。然而，需要仔細解決幾個實際問題，以便改進檢查：(1)需要一種獲得比例因子的策略(例如，參考目標和激光位移傳感器)來確定裂紋和結構的實際尺寸；(2)攝像機的傾斜角度可能導致對裂紋寬度的低估；(3)精確的裂紋量化和高效的三維重建很難同時實現，因為每個性能高度依賴于所用透鏡的焦距。
[0006]現有一種結合圖像識別技術的橋梁裂紋系統及方法，包括分布式光纖應變傳感子系統、數據處理子系統、無人機子系統和裂紋評估與管理子系統，利用分布式光纖應變傳感子系統及數據處理子系統監測應變數據，異常則發送巡檢指令給無人機子系統，無人機子系統采集數據異常位置的圖像并發送至數據處理子系統，再通過裂紋識別算法識別圖像中的裂紋并將計算結果呈現給裂紋評估與管理子系統，裂紋評估與管理子系統對裂紋識別結果進行評價，建立裂紋檔案。
[0007]上述現有的橋梁裂紋識別方法，其對裂紋的量化評估較為粗糙，無法實現精確的裂縫量化評估。

技術實現思路

[0008]本專利技術為克服上述現有技術所述的無法實現精確的裂縫量化評估的問題，提供一種基于立體視覺的混凝土橋梁裂縫智能評估方法。
[0009]為解決上述技術問題，本專利技術采用的技術方案是：一種基于立體視覺的混凝土橋梁裂縫智能評估方法，包括如下步驟：
[0010]S1.建立用于識別混凝土橋梁表面圖像中的裂紋的分類模型，然后利用分類模型識別出混凝土橋梁表面圖像中的裂紋；
[0011]S2.建立立體視覺坐標系；
[0012]S3.利用立體視覺坐標系建立深度模型，深度模型用于量化混凝土橋梁表面圖像中的裂紋，從而得到量化的裂紋信息；
[0013]S4.利用量化的裂紋信息在三維模型中進對裂紋進行評估。
[0014]進一步地，所述S1具體包括如下步驟：
[0015]S11.將灰度的混凝土橋梁表面圖像中的每個像素與在預定義窗口內計算的相應閾值T進行比較，將像素轉換為0或1，得到二值化后的混凝土橋梁表面圖像；
[0016]S12.通過ResNet利用二值化后的混凝土橋梁表面圖像建立魯棒分類模型。
[0017]進一步地，所述步驟S11中，閾值T由下式給出：
[0018][0019]所述m為窗口內像素強度的平均值，所述s為窗口內像素強度的標準偏差；所述R為標準偏差的標準化因子；所述k是控制閾值的靈敏度。
[0020]進一步地，所述步驟S2為利用長焦相機及廣角相機組成的立體視覺系統建立立體視覺坐標系。
[0021]進一步地，所述立體視覺系統包括長焦相機、廣角相機及傳感控制器；所述長焦相機及廣角相機的光學中心的距離為10cm；所述長焦相機的焦距為6mm，所述廣角相機的焦距為16mm，且長焦相機及廣角相機的工作距離為1000mm。
[0022]進一步地，所述步驟S2中的立體視覺坐標系包括世界坐標系、廣角相機坐標系、長焦相機坐標系、長焦圖像坐標系及廣角圖像坐標系。
[0023]進一步地，所述S3具體包括如下步驟：
[0024]S31.通過加速魯棒特征從長焦圖像及廣角圖像中尋找匹配點，長焦圖像及廣角圖像中的第i匹配點分別為：I1(i)＝[u1(i) ν1(i) 1]T
和I2(i)＝[u2(i) v2(i) 1]T
；
[0025]S32.排除異常匹配點，每個匹配點的e
i
為：
[0026]e
i
＝I1(i)
T F3×
3 I2(i)＝0
???
(2)
[0027]匹配點的e
i
為0即為正常匹配點，大于指定閾值的點為異常匹配點，將異常匹配點排除后即可獲得全部正常匹配點；
[0028]S33.計算長焦圖像及廣角圖像中每個匹配點中的視差d(j)：
[0029][0030]f1和f2分別是廣角相機和長焦相機的焦距；o1和o2分別是廣角相機和長焦相機的光學中心；u1(j)和u2(j)分別是第j個匹配點的水平位置；
[0031]S34.計算第j個匹配點的深度：
[0032][0033]其中z1(j)和z2(j)分別是長焦圖像坐標系及廣角圖像坐標系中第j個匹配點的深度；
[0034]S35.校準第j個匹配點的深度數據。
[0035]進一步地，所述步驟S35具體為：
[0036]得出長焦相機每個匹配點的新深度
[0037][0038]計算在世界坐標系中的第j個匹配點P
′
(j)到長焦相機圖像坐標系的投影，公式為：
[0039][0040]其中K2是固有參數，對應于長焦相機的焦距和主點，R2和T2分別是長焦相機的旋轉矩陣和平移向量；設[u1′
(j)v1′
(j)1]T
為基于坐標變換的廣角相機中的對應點，其公式如下：
[0041][0042]其中，sf(j)是廣角相機的圖像坐標系中第j個匹配點的比例因子；K1為固有參數，對應廣角相機的焦距和主點；R1和T1分別是廣角相機的旋轉矩陣和平移向量；
[0043]每個圖像坐標系中匹配點之間的關系用本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，包括如下步驟：S1.建立用于識別混凝土橋梁表面圖像中的裂紋的分類模型，，然后利用分類模型識別出混凝土橋梁表面圖像中的裂紋；S2.建立立體視覺坐標系；S3.利用立體視覺坐標系建立深度模型，深度模型用于量化混凝土橋梁表面圖像中的裂紋，從而得到量化的裂紋信息；S4.利用量化的裂紋信息在三維模型中進對裂紋進行評估。2.根據權利要求1所述的基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，所述S1具體包括如下步驟：S11.將灰度的混凝土橋梁表面圖像中的每個像素與在預定義窗口內計算的相應閾值T進行比較，將像素轉換為0或1，得到二值化后的混凝土橋梁表面圖像；S12.通過ResNet利用二值化后的混凝土橋梁表面圖像建立魯棒分類模型。3.根據權利要求2所述的基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，所述步驟S11中，閾值T由下式給出：所述m為窗口內像素強度的平均值，所述s為窗口內像素強度的標準偏差；所述R為標準偏差的標準化因子；所述k是控制閾值的靈敏度。4.根據權利要求1所述的基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，所述步驟S2為利用長焦相機及廣角相機組成的立體視覺系統建立立體視覺坐標系。5.根據權利要求4所述的基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，所述立體視覺系統包括長焦相機、廣角相機及傳感控制器；所述長焦相機及廣角相機的光學中心的距離為10cm；所述長焦相機的焦距為6mm，所述廣角相機的焦距為16mm，且長焦相機及廣角相機的工作距離為1000mm。6.根據權利要求4所述的基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，所述步驟S2中的立體視覺坐標系包括世界坐標系、廣角相機坐標系、長焦相機坐標系、長焦圖像坐標系及廣角圖像坐標系。7.根據權利要求4所述的基于立體視覺的混凝土橋梁裂縫智能評估方法，其特征在于，所述S3具體包括如下步驟：S31.通過加速魯棒特征從長焦圖像及廣角圖像中尋找匹配點，，長焦圖像及廣角圖像中的第i匹配點分別為：I1(i)＝[u1(i) v1(i) 1]
T
和I2(i)＝[u2(i) v2(i) 1]
T
；S32.排除異常匹配點，每個匹配點的e
i
為：e
i
＝I1(i)
T
F3×3I2(i)＝0
??
(2)匹配點的e
i
為0即為正常匹配點，大于指定閾值的點為異常匹配點，將異常匹配點排除后即可獲得全部正常匹配點；S33.計算長焦圖像及廣角圖像中每個匹配點中的視差d(j)：...

【專利技術屬性】
技術研發人員：徐森，趙晨，雷鋼，楊陽，夏宏生，
申請(專利權)人：廣東水利電力職業技術學院廣東省水利電力技工學校，
類型：發明
國別省市：