一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法技術(shù)

本發(fā)明專(zhuān)利技術(shù)公開(kāi)了一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，包括以下步驟：基于透視變換原理，人工標(biāo)定4組監(jiān)控畫(huà)面坐標(biāo)和AIS記錄中經(jīng)緯度坐標(biāo)對(duì)應(yīng)點(diǎn)，建立監(jiān)控畫(huà)面坐標(biāo)和經(jīng)緯度坐標(biāo)的低精度映射關(guān)系；使用深度學(xué)習(xí)目標(biāo)檢測(cè)模型，檢測(cè)出監(jiān)控視頻中船只，生成船只檢測(cè)框；將AIS記錄中的船只經(jīng)緯度坐標(biāo)點(diǎn)通過(guò)低精度映射關(guān)系映射到監(jiān)控視頻畫(huà)面中，生成船只先驗(yàn)框；利用KM算法，實(shí)現(xiàn)船只檢測(cè)框與船只先驗(yàn)框的匹配，得到匹配對(duì)的集合；使用梯度下降的優(yōu)化方法，根據(jù)匹配對(duì)集合，進(jìn)一步優(yōu)化低精度映射關(guān)系，建立監(jiān)控畫(huà)面坐標(biāo)和經(jīng)緯度坐標(biāo)高精度的映射關(guān)系。本發(fā)明專(zhuān)利技術(shù)可以在監(jiān)控相機(jī)參數(shù)未知的情況下，建立AIS和港口視頻監(jiān)控之間精確的映射關(guān)系。系。系。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法


[0001]本專(zhuān)利技術(shù)涉及港口船只監(jiān)控和數(shù)據(jù)對(duì)齊領(lǐng)域，具體涉及一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法。

技術(shù)介紹

[0002]近年來(lái)，隨著信息化基礎(chǔ)設(shè)施的不斷完善，海洋感知的手段也不斷得到豐富和加強(qiáng)。對(duì)于港口船只監(jiān)測(cè)這一現(xiàn)實(shí)需求而言，除了依賴(lài)港口監(jiān)控視頻外，由岸基(基站)設(shè)施和船載設(shè)備共同組成的AIS系統(tǒng)，也能較為方便地提供船只地識(shí)別碼、船名、類(lèi)型、位置、航向、船速等信息。將這兩種信息結(jié)合起來(lái)，更有助于實(shí)現(xiàn)對(duì)水路航運(yùn)船只的管理。
[0003]AIS與港口視頻監(jiān)控對(duì)齊是指，給定某一具體時(shí)刻(時(shí)間戳)，同時(shí)獲取該時(shí)刻(時(shí)間戳)的AIS記錄和監(jiān)控視頻畫(huà)面，建立起來(lái)AIS記錄中經(jīng)緯度坐標(biāo)和監(jiān)控視頻畫(huà)面坐標(biāo)的對(duì)應(yīng)關(guān)系。
[0004]在現(xiàn)有的結(jié)合AIS的船只監(jiān)測(cè)系統(tǒng)中，要實(shí)現(xiàn)AIS經(jīng)緯度坐標(biāo)和監(jiān)控畫(huà)面坐標(biāo)的對(duì)齊，需要依賴(lài)全景監(jiān)控相機(jī)的焦距和云臺(tái)的角度等物理參數(shù)。而獲取這些參數(shù)值，增加了AIS經(jīng)緯度坐標(biāo)和監(jiān)控畫(huà)面坐標(biāo)對(duì)齊的難度。
[0005]針對(duì)上述方法的不足，目前亟待提出一種更加簡(jiǎn)便、有效的對(duì)齊方法。

技術(shù)實(shí)現(xiàn)思路

[0006]本專(zhuān)利技術(shù)的目的是為了解決現(xiàn)有的結(jié)合AIS的船只監(jiān)控系統(tǒng)中的上述問(wèn)題，提供了一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，該方法基于透視變換原理，只需手動(dòng)選擇少量對(duì)應(yīng)點(diǎn)，即可建立了AIS中經(jīng)緯度坐標(biāo)和監(jiān)控畫(huà)面坐標(biāo)的映射關(guān)系，并且通過(guò)梯度下降的方法降低了船只檢測(cè)框和先驗(yàn)框的誤差，進(jìn)一步優(yōu)化了映射關(guān)系，實(shí)現(xiàn)了AIS中經(jīng)緯度坐標(biāo)和監(jiān)控畫(huà)面坐標(biāo)的精確對(duì)齊。
[0007]本專(zhuān)利技術(shù)的目的可以通過(guò)采取如下技術(shù)方案達(dá)到：
[0008]一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，具體如圖1所示，本專(zhuān)利技術(shù)所采用的技術(shù)方案包含以下具體步驟：
[0009]S1、基于透視變換原理，人工標(biāo)定4組監(jiān)控畫(huà)面坐標(biāo)和AIS記錄中經(jīng)緯度坐標(biāo)對(duì)應(yīng)點(diǎn)，建立監(jiān)控畫(huà)面坐標(biāo)與經(jīng)緯度坐標(biāo)的低精度映射關(guān)系；
[0010]S2、使用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型，檢測(cè)出監(jiān)控視頻中船只，生成船只檢測(cè)框；
[0011]S3、根據(jù)監(jiān)控?cái)z像頭和所述控畫(huà)面坐標(biāo)與經(jīng)緯度坐標(biāo)的低精度映射關(guān)系，將AIS記錄中的船只經(jīng)緯度坐標(biāo)點(diǎn)映射到監(jiān)控視頻畫(huà)面中，生成船只先驗(yàn)框；
[0012]S4、使用KM算法，實(shí)現(xiàn)船只檢測(cè)框與船只先驗(yàn)框的匹配，得到匹配對(duì)的集合；
[0013]S5、使用梯度下降的優(yōu)化方法，根據(jù)匹配對(duì)集合，優(yōu)化所述控畫(huà)面坐標(biāo)與經(jīng)緯度坐標(biāo)的低精度映射關(guān)系，建立監(jiān)控畫(huà)面坐標(biāo)和經(jīng)緯度坐標(biāo)高精度的映射關(guān)系。
[0014]進(jìn)一步地，所述步驟S1過(guò)程如下：
[0015]S101、在高德地圖API工具中，截取包含監(jiān)控畫(huà)面可見(jiàn)范圍的矩形區(qū)域，并取一幀監(jiān)控視頻的畫(huà)面。
[0016]S102、人工選擇地圖API工具截取的矩形區(qū)域和監(jiān)控視頻畫(huà)面中的4組顯著對(duì)應(yīng)點(diǎn)對(duì)。對(duì)應(yīng)點(diǎn)的選取方法為在監(jiān)控畫(huà)面中選取島嶼邊角點(diǎn)，并在地圖API工具中選出與之對(duì)應(yīng)的點(diǎn)。
[0017]S103、基于透視變換原理，將選取的4組對(duì)應(yīng)點(diǎn)對(duì)代入透視變換公式。透視變換公式如下所示：
[0018]透視變換的坐標(biāo)變換關(guān)系如下：
[0019][0020]其中，x,y分別表示透視變換前二維平面中的X軸坐標(biāo)和Y軸坐標(biāo)，擴(kuò)增維度上1表示坐標(biāo)位于二維平面；X,Y,Z分別表示透視變換過(guò)程中生成的三維空間中的X軸、Y軸和Z軸坐標(biāo)，X
′
,Y
′
分別表示將三維空間坐標(biāo)重新投影到二維平面的坐標(biāo)，Z
′
數(shù)值為1表示投影到了二維平面中；矩陣{a
ij
}表示透視變換矩陣，其中1<＝i<＝3,1<＝j(luò)<＝3，a
ij
表示透視變換矩陣第i行第j列的元素。
[0021]根據(jù)上述公式，求解透視變換矩陣{a
ij
}，記作M，該透視變換矩陣表示監(jiān)控畫(huà)面坐標(biāo)和經(jīng)緯度坐標(biāo)的低精度映射關(guān)系。
[0022]進(jìn)一步地，步驟S1是基于透視變換原理。透視變換是把一個(gè)圖像投影到一個(gè)新的視平面的過(guò)程，該過(guò)程包括：把一個(gè)二維坐標(biāo)系轉(zhuǎn)換為三維坐標(biāo)系，然后把三維坐標(biāo)系投影到新的二維坐標(biāo)系。AIS記錄經(jīng)緯度坐標(biāo)和監(jiān)控畫(huà)面坐標(biāo)可分別被視作俯視坐標(biāo)系和水平坐標(biāo)系，因此可以通過(guò)透視變換進(jìn)行關(guān)聯(lián)。
[0023]進(jìn)一步地，所述步驟S2過(guò)程如下：
[0024]S201、對(duì)采集到的監(jiān)控視頻，每隔一秒采集一幀圖像，并將圖像中的時(shí)間信息轉(zhuǎn)換為時(shí)間戳，使用時(shí)間戳為圖像命名，標(biāo)識(shí)采集圖像的時(shí)間信息。
[0025]S202、利用在公開(kāi)數(shù)據(jù)集上預(yù)訓(xùn)練的目標(biāo)檢測(cè)模型YOLOv3，對(duì)采集到的圖像幀進(jìn)行船只檢測(cè)，并記錄目標(biāo)檢測(cè)模型YOLOv3輸出的船只檢測(cè)框集合，記作D；
[0026]S203、統(tǒng)計(jì)船只檢測(cè)框集合D中船只的平均寬高像素值，并記錄為(width,height)。
[0027]進(jìn)一步地，步驟S202中使用了公開(kāi)數(shù)據(jù)集上預(yù)訓(xùn)練的目標(biāo)檢測(cè)模型YOLOv3。該模型作者為Joseph Redmon，于2018年提出的論文《YOLOv3:An Incremental Improvement》，
作者以科技報(bào)告的形式公開(kāi)了該論文，雖然沒(méi)有正式發(fā)表，但仍被廣泛引用。YOLOv3模型是對(duì)于之前YOLO系列目標(biāo)檢測(cè)模型的延續(xù)，整合了當(dāng)時(shí)主流網(wǎng)絡(luò)的優(yōu)點(diǎn)，成為了被廣泛使用的目標(biāo)檢測(cè)模型。該模型通過(guò)骨干部分的卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，再將圖像特征通過(guò)檢測(cè)頭部分輸出檢測(cè)到的物體以及類(lèi)別，能夠?qū)斎雸D像中的物體進(jìn)行檢測(cè)，其能夠檢測(cè)的類(lèi)別包括船只(ship)這一類(lèi)型，因而可以用來(lái)對(duì)采集到的圖像幀進(jìn)行自動(dòng)船只檢測(cè)，生成船只檢測(cè)框。
[0028]進(jìn)一步地，所述步驟S3過(guò)程如下：
[0029]S301、對(duì)采集到的AIS數(shù)據(jù)按照時(shí)間戳分組，并通過(guò)地圖API工具，將AIS記錄中的經(jīng)緯度，轉(zhuǎn)為截取區(qū)域的像素點(diǎn)，將像素點(diǎn)的集合記作S。
[0030]S302、使用低精度映射關(guān)系矩陣M，將獲取的經(jīng)緯度像素點(diǎn)集合S映射到監(jiān)控視頻畫(huà)面中，作為先驗(yàn)框的中心坐標(biāo)，并使用統(tǒng)計(jì)得到的船只平均寬高像素值(width,height)生成船只先驗(yàn)框集合P，該映射為一一映射，記作f∶S
·
M
±
(width/2,height/2)
→
P。
[0031]進(jìn)一步地，步驟S3中所使用的低精度映射關(guān)系矩陣M本質(zhì)上是透視變換矩陣，而透視變換是把一個(gè)圖像投影到一個(gè)新的視平面的過(guò)程，該過(guò)程包括：把一個(gè)二維坐標(biāo)系轉(zhuǎn)換為三維坐標(biāo)系，然后把三維坐標(biāo)系投影到新的二維坐標(biāo)系。AIS經(jīng)緯度坐標(biāo)和監(jiān)控畫(huà)面坐標(biāo)可分別被視作俯視坐標(biāo)系和水平坐標(biāo)系，因此可以通過(guò)低精度映射關(guān)系矩陣M，將經(jīng)緯度像素點(diǎn)坐標(biāo)變換為監(jiān)控畫(huà)面坐標(biāo)，再結(jié)合統(tǒng)計(jì)到的(width,height)生成船只先驗(yàn)框。
[0032]進(jìn)一步地，所述步驟S4過(guò)程如下
[0033]S401、針對(duì)每一個(gè)時(shí)間戳t，構(gòu)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，其特征在于，所述對(duì)齊方法包括以下步驟：S1、基于透視變換原理，人工標(biāo)定4組監(jiān)控畫(huà)面坐標(biāo)和AIS記錄中經(jīng)緯度坐標(biāo)對(duì)應(yīng)點(diǎn)，建立監(jiān)控畫(huà)面坐標(biāo)與經(jīng)緯度坐標(biāo)的低精度映射關(guān)系；S2、使用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型，檢測(cè)出監(jiān)控視頻中船只，生成船只檢測(cè)框；S3、根據(jù)監(jiān)控?cái)z像頭和所述監(jiān)控畫(huà)面坐標(biāo)與經(jīng)緯度坐標(biāo)的低精度映射關(guān)系，將AIS記錄中的船只經(jīng)緯度坐標(biāo)點(diǎn)映射到監(jiān)控視頻畫(huà)面中，生成船只先驗(yàn)框；S4、使用KM算法，實(shí)現(xiàn)船只檢測(cè)框與船只先驗(yàn)框的匹配，得到匹配對(duì)的集合；S5、使用梯度下降的優(yōu)化方法，根據(jù)匹配對(duì)集合，優(yōu)化所述控畫(huà)面坐標(biāo)與經(jīng)緯度坐標(biāo)的低精度映射關(guān)系，建立監(jiān)控畫(huà)面坐標(biāo)和經(jīng)緯度坐標(biāo)高精度的映射關(guān)系。2.根據(jù)權(quán)利要求1所述的一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，其特征在于，所述步驟S1過(guò)程如下：S101、在地圖API工具中，截取包含監(jiān)控?cái)z像頭可見(jiàn)范圍的矩形區(qū)域，并取一幀監(jiān)控視頻中的畫(huà)面；S102、人工選擇地圖API工具截取區(qū)域中和監(jiān)控視頻畫(huà)面中的4組顯著對(duì)應(yīng)點(diǎn)對(duì)。對(duì)應(yīng)點(diǎn)的選取方法為在監(jiān)控畫(huà)面中選取島嶼邊角點(diǎn)，并在地圖API工具中選出與之對(duì)應(yīng)的點(diǎn)；S103、基于透視變換原理，將選取的4組對(duì)應(yīng)點(diǎn)對(duì)代入透視變換公式，透視變換公式如下所示：透視變換的坐標(biāo)變換關(guān)系如下：其中，x,y分別表示透視變換前二維平面中的X軸坐標(biāo)和Y軸坐標(biāo)，擴(kuò)增維度上1表示坐標(biāo)位于二維平面；X,Y,Z分別表示透視變換過(guò)程中生成的三維空間中的X軸、Y軸和Z軸坐標(biāo)，X
′
,Y
′
分別表示將三維空間坐標(biāo)重新投影到二維平面的坐標(biāo)，Z
′
取值為1表示投影到了二維平面中；矩陣{a
ij
}表示透視變換矩陣，其中1<＝i<＝3,1<＝j(luò)<＝3，a
ij
表示透視變換矩陣第i行第j列的元素；根據(jù)上述公式，求解透視變換矩陣{a
ij
}，記作M，該透視變換矩陣表示監(jiān)控畫(huà)面坐標(biāo)和經(jīng)緯度坐標(biāo)的低精度映射關(guān)系。3.根據(jù)權(quán)利要求1所述的一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，其特征在于，所述步驟S2過(guò)程如下：S201、對(duì)采集到的監(jiān)控視頻，每隔一秒采集一幀圖像，并將圖像中的時(shí)間信息轉(zhuǎn)為時(shí)間戳，使用時(shí)間戳對(duì)圖像進(jìn)行命名；
S202、利用在公開(kāi)數(shù)據(jù)集上預(yù)訓(xùn)練的目標(biāo)檢測(cè)模型YOLOv3，對(duì)采集到的圖像幀進(jìn)行船只檢測(cè)，并記錄目標(biāo)檢測(cè)模型YOLOv3輸出的船只檢測(cè)框集合，記作D；S203、統(tǒng)計(jì)船只檢測(cè)框集合D中船只的平均寬高像素值，并記錄為(width,height)，供后續(xù)生成船只先驗(yàn)框使用。4.根據(jù)權(quán)利要求1所述的一種針對(duì)AIS和港口視頻監(jiān)控的對(duì)齊方法，其特征在于，所述步驟S3過(guò)程如下：S301、對(duì)采集到的AIS記錄按照時(shí)間戳分組，并通過(guò)地圖API工具，將AIS記錄中的經(jīng)緯度坐標(biāo)，轉(zhuǎn)為截取區(qū)域的像素點(diǎn)，將像素點(diǎn)的集合記作S；S302、使用低精度映射關(guān)系矩陣M，將獲取的經(jīng)緯度像素點(diǎn)集合S映射到監(jiān)控視頻畫(huà)面中，作為先驗(yàn)框的中心坐標(biāo)，并使用統(tǒng)計(jì)得到的船只平均寬高像素值(width,height)生成船只先驗(yàn)框集合P，該映射為一一映射，記作f∶S
·
M
±
(width/2,height/2)
→
P，符號(hào)
“→”
表示映射關(guān)系。5.根據(jù)權(quán)利要求1所述的一種針對(duì)AIS和港...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：呂建明，李博，黃星杰，吳思琦，王亞權(quán)，
申請(qǐng)(專(zhuān)利權(quán))人：華南理工大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：