一種基于單目視覺的鋼帶鉆孔定位方法、系統(tǒng)及裝置制造方法及圖紙

本發(fā)明專利技術(shù)涉及一種基于單目視覺的鋼帶鉆孔定位方法、系統(tǒng)及裝置，涉及計算機視覺和鋼帶鉆孔定位技術(shù)領(lǐng)域，方法包括：獲取待處理圖像；從待處理圖像中提取線激光圖像特征，并對線激光圖像特征進行處理，以得到鋼帶特征圖；根據(jù)鋼帶特征圖對待處理圖像進行圖像增強處理，并根據(jù)圖像增強處理后的待處理圖像確定鋼帶鉆孔中心數(shù)據(jù)組；從待處理圖像中提取光斑圖像特征，并對光斑圖像特征進行預(yù)處理，以得到光斑特征圖；采用橢圓擬合提取光斑特征圖的光斑中心，以得到光斑數(shù)據(jù)組；根據(jù)鋼帶鉆孔中心數(shù)據(jù)和光斑數(shù)據(jù)組，計算所述鋼帶上鉆孔的位姿，進而控制鉆臂移動至鋼帶鉆孔位置。本發(fā)明專利技術(shù)提高了鋼帶鉆孔定位精度。鋼帶鉆孔定位精度。鋼帶鉆孔定位精度。

【技術(shù)實現(xiàn)步驟摘要】
一種基于單目視覺的鋼帶鉆孔定位方法、系統(tǒng)及裝置


[0001]本專利技術(shù)涉及計算機視覺和鋼帶鉆孔定位
，特別是涉及一種基于單目視覺的鋼帶鉆孔定位方法、系統(tǒng)及裝置。

技術(shù)介紹

[0002]隨著各種智能化綜采設(shè)備的研發(fā)與應(yīng)用，煤礦開采能力和效率得到了大幅提升，但是由于煤礦巷道掘進技術(shù)仍處在機械化階段，會導(dǎo)致采掘效率嚴(yán)重失衡，進而導(dǎo)致煤礦行業(yè)普遍出現(xiàn)了采快掘慢的問題。因此，智能掘進、減人提效是當(dāng)前煤炭開采行業(yè)發(fā)展的趨勢。基于此，煤礦巷道的支護工作對于巷道掘進和鉆錨設(shè)備動作的協(xié)調(diào)性、準(zhǔn)確性和快速性都提出了較高的要求，對相關(guān)施工人員的技術(shù)水平和身體素質(zhì)提出了更高的挑戰(zhàn)，但卻進一步拖慢了巷道掘進的效率，呈現(xiàn)出掘快支慢的問題。
[0003]為了解決掘進工作面掘快支慢的問題，行業(yè)中漸漸出現(xiàn)了基于雙目視覺的鋼帶鉆孔定位方案及系統(tǒng)，提高了支護效率，減輕了工人的勞動強度。但是，煤礦井下低照度和弱紋理的工作環(huán)境對基于視覺的定位方案產(chǎn)生了強烈的撼動，并且雙目視覺固定的基線距離和較高的計算復(fù)雜度也影響了其定位的精度和實時性。

技術(shù)實現(xiàn)思路

[0004]本專利技術(shù)的目的是提供一種基于單目視覺的鋼帶鉆孔定位方法、系統(tǒng)及裝置，解決煤礦井下的低照度、弱紋理環(huán)境對視覺定位的影響，提高鋼帶鉆孔定位精度。
[0005]為實現(xiàn)上述目的，本專利技術(shù)提供了如下方案：
[0006]第一方面，本專利技術(shù)提供了一種基于單目視覺的鋼帶鉆孔定位方法，包括：
[0007]獲取待處理圖像；所述待處理圖像中包含巷道煤壁、鋼帶、線激光束和多個光斑；所述鋼帶放置于所述巷道煤壁上，所述鋼帶上設(shè)置有多個鉆孔；
[0008]從所述待處理圖像中提取線激光圖像特征，并對所述線激光圖像特征進行處理，以得到鋼帶特征圖；
[0009]根據(jù)所述鋼帶特征圖對所述待處理圖像進行圖像增強處理，并根據(jù)圖像增強處理后的待處理圖像確定鋼帶鉆孔中心數(shù)據(jù)組；
[0010]從所述待處理圖像中提取光斑圖像特征，并對所述光斑圖像特征進行預(yù)處理，以得到光斑特征圖；
[0011]采用橢圓擬合提取所述光斑特征圖的光斑中心，以得到光斑數(shù)據(jù)組；
[0012]根據(jù)所述鋼帶鉆孔中心數(shù)據(jù)組和所述光斑數(shù)據(jù)組，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿；
[0013]根據(jù)所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿，控制鉆臂移動至鋼帶鉆孔位置。
[0014]可選地，根據(jù)所述鋼帶特征圖對所述待處理圖像進行圖像增強處理，并根據(jù)圖像增強處理后的待處理圖像確定鋼帶鉆孔中心數(shù)據(jù)組，具體包括：
[0015]根據(jù)所述鋼帶特征圖對所述待處理圖像進行基于拉普拉斯算子的圖像增強處理，
以確定初步增強圖像；
[0016]對所述初步增強圖像進行閾值處理，以確定鋼帶鉆孔輪廓圖像；
[0017]對所述鋼帶鉆孔輪廓圖像進行橢圓擬合，以確定鋼帶鉆孔中心在像素坐標(biāo)系下的像素坐標(biāo)；
[0018]對所述鋼帶鉆孔中心在像素坐標(biāo)系下的像素坐標(biāo)進行坐標(biāo)系轉(zhuǎn)換，以確定鋼帶鉆孔中心在對應(yīng)圖像坐標(biāo)系下的圖像坐標(biāo)；所述鋼帶鉆孔中心在對應(yīng)圖像坐標(biāo)系下的圖像坐標(biāo)構(gòu)成鋼帶鉆孔中心數(shù)據(jù)組。
[0019]可選地，對所述光斑圖像特征進行預(yù)處理，以得到光斑特征圖，具體包括：
[0020]對所述光斑圖像特征依次進行金字塔降采樣處理、二值化分割處理、Canny邊緣檢測處理和金字塔上采樣處理，以得到光斑特征圖；
[0021]所述采用橢圓擬合提取所述光斑特征圖的光斑中心，以得到光斑數(shù)據(jù)組，具體包括：
[0022]采用基于霍夫變換的橢圓擬合提取所述光斑特征圖的光斑中心，以確定多個光斑中心點；
[0023]將多個所述光斑中心點按第一順序排序；所述第一順序為順時針或者逆時針；
[0024]針對排序后的相鄰兩個光斑中心點，確定兩個光斑中心點之間的中間點；所述中間點位于相鄰兩個光斑中心點的連線上；多個所述光斑中心點和多個所述中間點構(gòu)成光斑數(shù)據(jù)組。
[0025]可選地，根據(jù)所述鋼帶鉆孔中心數(shù)據(jù)組和所述光斑數(shù)據(jù)組，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿，具體包括：
[0026]根據(jù)所述光斑數(shù)據(jù)組中的光斑中心點，計算第一平移向量；所述第一平移向量為從相機坐標(biāo)系到巷道煤壁坐標(biāo)系的平移向量；
[0027]根據(jù)所述光斑數(shù)據(jù)組中的中間點，計算第一旋轉(zhuǎn)矩陣；所述第一旋轉(zhuǎn)矩陣為從所述相機坐標(biāo)系到所述巷道煤壁坐標(biāo)系的旋轉(zhuǎn)矩陣；
[0028]根據(jù)所述鋼帶鉆孔中心數(shù)據(jù)組，計算第二平移向量；所述第二平移向量為鋼帶鉆孔坐標(biāo)系到所述巷道煤壁坐標(biāo)系的平移向量；
[0029]根據(jù)所述第一平移向量、所述第一旋轉(zhuǎn)矩陣和所述第二平移向量，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿。
[0030]可選地，根據(jù)所述第一平移向量、所述第一旋轉(zhuǎn)矩陣和所述第二平移向量，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿，具體包括：
[0031]根據(jù)公式
[0032]T
HC
＝T
HW
·
T
WC
[0033]計算鋼帶上鉆孔在相機坐標(biāo)系下的位姿；
[0034]其中，T
HC
表示鋼帶上鉆孔在相機坐標(biāo)系下的位姿，T
WC
表示巷道煤壁坐標(biāo)系在相機坐標(biāo)系下的位姿，T
HW
表示鋼帶鉆孔坐標(biāo)系在巷道煤壁坐標(biāo)系下的位姿，R
WC
表示第一旋轉(zhuǎn)矩陣，t
WC
表示第一平移向
量，t
HW
表示第二平移向量，
[0035]可選地，根據(jù)所述光斑數(shù)據(jù)組中的光斑中心點，計算第一平移向量，具體包括：
[0036]根據(jù)公式
[0037][0038]計算第一平移向量；
[0039]其中，t
WC
表示第一平移向量，a表示排序后的相鄰兩個光斑中心點之間的距離的一半，f表示拍攝待處理圖像的相機的焦距，OA
′1表示點O與點A
′1之間的距離，OC
′1表示點O與點C
′1之間的距離，點O為所述光斑特征圖在相機坐標(biāo)系下的原點，點A
′1表示所述光斑數(shù)據(jù)組中的一個光斑中心點，點C
′1表示所述光斑數(shù)據(jù)組中與點A
′1不相鄰的另一個光斑中心點。
[0040]可選地，根據(jù)所述光斑數(shù)據(jù)組中的中間點，計算第一旋轉(zhuǎn)矩陣，具體包括：
[0041]根據(jù)公式
[0042][0043]計算第一旋轉(zhuǎn)矩陣；
[0044]其中，R
WC
表示第一旋轉(zhuǎn)矩陣，表示點E1在巷道煤壁坐標(biāo)系下的X坐標(biāo)，點E1表示光斑數(shù)據(jù)組中的任一中間點在巷道煤壁坐標(biāo)系下的映射點，表示點E2在巷道煤壁坐標(biāo)系下的X坐標(biāo)，點E2表示光斑數(shù)據(jù)組中的另一中間點在巷道煤壁坐標(biāo)系下的映射點，表示點F1在巷道煤壁坐標(biāo)系下的Y坐標(biāo)，點F1表示光斑數(shù)據(jù)組中的另一中間點在巷道煤壁坐標(biāo)系下的映射點，表示點E1在相機坐標(biāo)系下的Z坐標(biāo)，表示點E2在相機坐標(biāo)系下的Z坐標(biāo)，表示點F1在相機坐本文檔來自技高網(wǎng)...

【技術(shù)保護點】

【技術(shù)特征摘要】
1.一種基于單目視覺的鋼帶鉆孔定位方法，其特征在于，所述基于單目視覺的鋼帶鉆孔定位方法包括：獲取待處理圖像；所述待處理圖像中包含巷道煤壁、鋼帶、線激光束和多個光斑；所述鋼帶放置于所述巷道煤壁上，所述鋼帶上設(shè)置有多個鉆孔；從所述待處理圖像中提取線激光圖像特征，并對所述線激光圖像特征進行處理，以得到鋼帶特征圖；根據(jù)所述鋼帶特征圖對所述待處理圖像進行圖像增強處理，并根據(jù)圖像增強處理后的待處理圖像確定鋼帶鉆孔中心數(shù)據(jù)組；從所述待處理圖像中提取光斑圖像特征，并對所述光斑圖像特征進行預(yù)處理，以得到光斑特征圖；采用橢圓擬合提取所述光斑特征圖的光斑中心，以得到光斑數(shù)據(jù)組；根據(jù)所述鋼帶鉆孔中心數(shù)據(jù)組和所述光斑數(shù)據(jù)組，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿；根據(jù)所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿，控制鉆臂移動至鋼帶鉆孔位置。2.根據(jù)權(quán)利要求1所述的基于單目視覺的鋼帶鉆孔定位方法，其特征在于，根據(jù)所述鋼帶特征圖對所述待處理圖像進行圖像增強處理，并根據(jù)圖像增強處理后的待處理圖像確定鋼帶鉆孔中心數(shù)據(jù)組，具體包括：根據(jù)所述鋼帶特征圖對所述待處理圖像進行基于拉普拉斯算子的圖像增強處理，以確定初步增強圖像；對所述初步增強圖像進行閾值處理，以確定鋼帶鉆孔輪廓圖像；對所述鋼帶鉆孔輪廓圖像進行橢圓擬合，以確定鋼帶鉆孔中心在像素坐標(biāo)系下的像素坐標(biāo)；對所述鋼帶鉆孔中心在像素坐標(biāo)系下的像素坐標(biāo)進行坐標(biāo)系轉(zhuǎn)換，以確定鋼帶鉆孔中心在對應(yīng)圖像坐標(biāo)系下的圖像坐標(biāo)；所述鋼帶鉆孔中心在對應(yīng)圖像坐標(biāo)系下的圖像坐標(biāo)構(gòu)成鋼帶鉆孔中心數(shù)據(jù)組。3.根據(jù)權(quán)利要求1所述的基于單目視覺的鋼帶鉆孔定位方法，其特征在于，對所述光斑圖像特征進行預(yù)處理，以得到光斑特征圖，具體包括：對所述光斑圖像特征依次進行金字塔降采樣處理、二值化分割處理、Canny邊緣檢測處理和金字塔上采樣處理，以得到光斑特征圖；所述采用橢圓擬合提取所述光斑特征圖的光斑中心，以得到光斑數(shù)據(jù)組，具體包括：采用基于霍夫變換的橢圓擬合提取所述光斑特征圖的光斑中心，以確定多個光斑中心點；將多個所述光斑中心點按第一順序排序；所述第一順序為順時針或者逆時針；針對排序后的相鄰兩個光斑中心點，確定兩個光斑中心點之間的中間點；所述中間點位于相鄰兩個光斑中心點的連線上；多個所述光斑中心點和多個所述中間點構(gòu)成光斑數(shù)據(jù)組。4.根據(jù)權(quán)利要求3所述的基于單目視覺的鋼帶鉆孔定位方法，其特征在于，根據(jù)所述鋼帶鉆孔中心數(shù)據(jù)組和所述光斑數(shù)據(jù)組，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿，具體包括：
根據(jù)所述光斑數(shù)據(jù)組中的光斑中心點，計算第一平移向量；所述第一平移向量為從相機坐標(biāo)系到巷道煤壁坐標(biāo)系的平移向量；根據(jù)所述光斑數(shù)據(jù)組中的中間點，計算第一旋轉(zhuǎn)矩陣；所述第一旋轉(zhuǎn)矩陣為從所述相機坐標(biāo)系到所述巷道煤壁坐標(biāo)系的旋轉(zhuǎn)矩陣；根據(jù)所述鋼帶鉆孔中心數(shù)據(jù)組，計算第二平移向量；所述第二平移向量為鋼帶鉆孔坐標(biāo)系到所述巷道煤壁坐標(biāo)系的平移向量；根據(jù)所述第一平移向量、所述第一旋轉(zhuǎn)矩陣和所述第二平移向量，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿。5.根據(jù)權(quán)利要求4所述的基于單目視覺的鋼帶鉆孔定位方法，其特征在于，根據(jù)所述第一平移向量、所述第一旋轉(zhuǎn)矩陣和所述第二平移向量，計算所述鋼帶上鉆孔在相機坐標(biāo)系下的位姿，具體包括：根據(jù)公式T
HC
＝T
HW
·
T
WC
計算鋼帶上鉆孔在相機坐標(biāo)系下的位姿；其中，T
HC
表示鋼帶上鉆孔在相機坐標(biāo)系下的位姿，T
WC
表示巷道煤壁坐標(biāo)系在相機坐標(biāo)系下的位姿，T
HW
表示鋼帶鉆孔坐標(biāo)系在巷道煤壁坐標(biāo)系下的位姿，R
WC
表示第一旋轉(zhuǎn)矩陣，t
WC
表示第一平移向量，...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張旭輝，陳鑫，雷孟宇，楊文娟，杜昱陽，
申請(專利權(quán))人：西安科技大學(xué)，
類型：發(fā)明
國別省市：