一種任意多邊形目標檢測方法、電子設備及存儲介質技術

本發明專利技術公開了一種任意多邊形目標檢測方法、電子設備及存儲介質，通過神經網絡得到多邊形目標檢測模型，其能夠不依賴先驗框，檢測出多邊形形狀的目標，突破了傳統目標檢測的矩形框檢測，使得目標框與檢測物體的IOU值更大，更加精準；并且統一了水平矩形框目標檢測、旋轉矩形框目標檢測和多邊形框目標檢測模型，提升了模型的適用范圍。升了模型的適用范圍。升了模型的適用范圍。

【技術實現步驟摘要】
一種任意多邊形目標檢測方法、電子設備及存儲介質


[0001]本專利技術屬于目標檢測
，具體涉及一種任意多邊形目標檢測方法、電子設備及存儲介質。

技術介紹

[0002]目標檢測是計算機視覺領域的基本任務之一，學術界已有將近二十年的研究歷史。近些年隨著深度學習技術的火熱發展，目標檢測算法也從基于手工特征的傳統算法轉向了基于深度神經網絡的檢測技術。從最初2013年提出的R
?
CNN、OverFeat，到后面的Fast/Faster R
?
CNN，SSD，YOLO系列，再到2020年最近的SAPD。短短不到五年時間，基于深度學習的目標檢測技術，在網絡結構上，從two stage到one stage，從bottom
?
up only到Top
?
Down，從single scale network到feature pyramid network，從面向PC端到面向手機端，都涌現出許多好的算法技術，這些算法在開放目標檢測數據集上的檢測效果和性能都很出色。
[0003]目前，目標檢測算法主要應用于人臉檢測、車輛檢測、物業安防等領域；其主流方法可分為水平矩形目標檢測和旋轉矩形目標檢測，而上述兩種目標檢測方法對于不規則圖形的檢驗存在缺陷，檢驗框精度不夠，對于需要精確判定檢測目標區域的應用領域來說不夠精確。

技術實現思路

[0004]為了克服現有技術中存在的不足，本專利技術提供一種任意多邊形目標檢測方法、電子設備及存儲介質，其能夠不依賴先驗框，檢測出多邊形形狀的目標；該方法相比于現有的目標檢測方法在環境適應性以及角度范圍都有極大的優勢。
[0005]為實現上述目的，本專利技術采用以下技術方案。
[0006]一種任意多邊形目標檢測方法,采集目標場景的各個圖片作為目標場景圖片數據集，執行以下步驟，對目標場景圖片中的各目標物體分別進行中心點和角點向量的預測，實現目標場景圖片中各目標物體的預測：
[0007]步驟S1：分別針對目標場景圖片數據集中各圖片中指定的各類別目標物體，基于分別與各類別目標物體一一對應的預設多邊形，應用預設多邊形以最小外接的方式分別對其對應類別的各目標物體進行框選；
[0008]步驟S2：分別針對目標場景圖片數據集中各圖片中由預設多邊形框選的各目標物體，基于目標物體對應的外接預設多邊形得到目標物體中心點，以該目標物體中心點為原點建立直角坐標系，對該目標物體對應的外接預設多邊形的各角點進行角點排序，并且得到目標物體對應外接預設多邊形上各角點在其自身坐標系下到中心點的向量，即目標物體對應的角點向量；進而獲得各圖片中各目標物體的中心點、各目標物體分別所對應外接預設多邊形上各角點的角點排序、以及各目標物體分別對應的角點向量；
[0009]步驟S3：基于目標場景圖片數據集作為訓練集，根據目標場景圖片數據集中各圖
片中各個目標物體的中心點、各目標物體分別所對應外接預設多邊形上各角點的角點排序、以及各目標物體分別對應的角點向量為基準，以目標場景圖片數據集中圖片為輸入，以該圖片中各目標物體的中心點、以及各個目標物體分別分別對應的角點向量為輸出，對包含目標物體特征提取模塊的神經網絡進行訓練得到多邊形目標檢測模型，預測目標場景圖片中各個目標物體分別對應的中心點和角點向量，實現目標場景圖片中各目標物體的預測；目標物體特征提取模塊用于提取目標場景圖片中反映目標物體的特征信息。
[0010]作為本專利技術的一種優選技術方案，所述步驟S2中，分別針對目標場景圖片數據集所對應各圖片中由預設多邊形框選的的各目標物體，執行以下步驟，進而獲得各圖片中各個目標物體的中心點、各圖片中各個目標物體分別所對應外接預設多邊形上各角點的角點排序、以及各圖片中各目標物體分別對應的角點向量：
[0011]步驟S2.1:基于目標物體對應的外接預設多邊形，得出該外接預設多邊形的最小外接矩形，進而得到該最小外接矩形的中心點作為該目標物體中心點；
[0012]步驟S2.2:以目標物體中心點為原點，以圖片坐標方向為基準建立直角坐標系，以該直角坐標系y軸正半軸順時針轉動與外接預設多邊形各角點重合的夾角作為各角點的角度；
[0013]步驟S2.3:基于外接預設多邊形各角點角度的大小，按從小到大對各角點進行角點排序，并且得到目標物體對應外接預設多邊形上各角點在其自身坐標系下到中心點的向量，即目標物體對應的角點向量。
[0014]作為本專利技術的一種優選技術方案，所述步驟S3中，具體執行以下步驟，預測目標場景圖片中各個目標物體分別對應的中心點和角點向量，實現目標場景圖片中各目標物體的預測：
[0015]步驟S3.1：隨機抽取目標場景標記圖片數據集中的一張圖片輸入神經網絡，神經網絡的目標物體特征提取模塊提取得到該圖片的64維特征向量，針對該圖片的64維特征向量分別使用256個3x3卷積核進行卷積，得到該圖片的分類熱力圖和該圖片中各目標物體分別對應的角點向量；
[0016]步驟S3.2：基于該圖片中各個目標物體的中心點、該圖片中各個目標物體分別所對應外接預設多邊形上各角點的角點排序、以及該圖片中各目標物體分別對應的角點向量為基準，分別對該圖片分類熱力圖、該圖片中各目標物體分別對應的角點向量進行優化，進而優化該神經網絡；
[0017]步驟S3.3：依次不斷從目標場景圖片數據集中隨機抽取一張圖片輸入神經網絡執行步驟S3.1至步驟S3.2，分別對該圖片分類熱力圖、該圖片中各目標物體分別對應的角點向量進行迭代優化，進而對神經網絡進行迭代優化，直到神經網絡的損失函數值趨于收斂穩定，神經網絡訓練完成得到多邊形目標檢測模型，預測目標場景圖片中各個目標物體分別對應的中心點和角點向量，實現目標場景圖片中各目標物體的預測。
[0018]作為本專利技術的一種優選技術方案，使用多元交叉熵損失函數對圖片分類熱力圖進行優化，即對圖片中各目標物體中心點進行優化，當多元交叉熵損失函數趨于收斂穩定則優化完成；使用正則損失函數對圖片中各目標物體分別對應的角點向量進行優化，當正則損失函數趨于收斂穩定則優化完成。
[0019]作為本專利技術的一種優選技術方案，所述神經網絡的損失函數為多元交叉熵損失函
數與正則損失函數之和。
[0020]作為本專利技術的一種優選技術方案，所述多元交叉熵損失函數L
K
如下：
[0021][0022]其中，α和β是Focal Loss的超參數；N是圖片中中心點總數量，即目標物體總數量；表示對于目標物體類別c，在圖片分類熱力圖坐標(x,y)中檢測到類別為c的目標物體；表示對于目標物體類別c，在圖片分類熱力圖坐標(x,y)中未檢測到類別為c的目標物體。
[0023]作為本專利技術的一種優選技術方案，所述正則損失函數L1如下：
[0024][0025]其中，n表示第n個目標物體，1≤n≤K,N是圖片中中心點總數量，即目標物體總數量；i表示第i個角點坐標，1≤i≤K,K為預設多邊形的角點總數量；為目標本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種任意多邊形目標檢測方法,其特征在于：采集目標場景的各個圖片作為目標場景圖片數據集，執行以下步驟，對目標場景圖片中的各目標物體分別進行中心點和角點向量的預測，實現目標場景圖片中各目標物體的預測：步驟S1：分別針對目標場景圖片數據集中各圖片中指定的各類別目標物體，基于分別與各類別目標物體一一對應的預設多邊形，應用預設多邊形以最小外接的方式分別對其對應類別的各目標物體進行框選；步驟S2：分別針對目標場景圖片數據集中各圖片中由預設多邊形框選的各目標物體，基于目標物體對應的外接預設多邊形得到目標物體中心點，以該目標物體中心點為原點建立直角坐標系，對該目標物體對應的外接預設多邊形的各角點進行角點排序，并且得到目標物體對應外接預設多邊形上各角點在其自身坐標系下到中心點的向量，即目標物體對應的角點向量；進而獲得各圖片中各目標物體的中心點、各目標物體分別所對應外接預設多邊形上各角點的角點排序、以及各目標物體分別對應的角點向量；步驟S3：基于目標場景圖片數據集作為訓練集，根據目標場景圖片數據集中各圖片中各個目標物體的中心點、各目標物體分別所對應外接預設多邊形上各角點的角點排序、以及各目標物體分別對應的角點向量為基準，以目標場景圖片數據集中圖片為輸入，以該圖片中各目標物體的中心點、以及各個目標物體分別對應的角點向量為輸出，對包含目標物體特征提取模塊的神經網絡進行訓練得到多邊形目標檢測模型，預測目標場景圖片中各個目標物體分別對應的中心點和角點向量，實現目標場景圖片中各目標物體的預測；目標物體特征提取模塊用于提取目標場景圖片中反映目標物體的特征信息。2.根據權利要求1所述的一種任意多邊形目標檢測方法，其特征在于：所述步驟S2中，分別針對目標場景圖片數據集所對應各圖片中由預設多邊形框選的的各目標物體，執行以下步驟，進而獲得各圖片中各個目標物體的中心點、各圖片中各個目標物體分別所對應外接預設多邊形上各角點的角點排序、以及各圖片中各目標物體分別對應的角點向量：步驟S2.1:基于目標物體對應的外接預設多邊形，得出該外接預設多邊形的最小外接矩形，進而得到該最小外接矩形的中心點作為該目標物體中心點；步驟S2.2:以目標物體中心點為原點，以圖片坐標方向為基準建立直角坐標系，以該直角坐標系y軸正半軸順時針轉動與外接預設多邊形各角點重合的夾角作為各角點的角度；步驟S2.3:基于外接預設多邊形各角點角度的大小，按從小到大對各角點進行角點排序，并且得到目標物體對應外接預設多邊形上各角點在其自身坐標系下到中心點的向量，即目標物體對應的角點向量。3.根據權利要求1所述的一種任意多邊形目標檢測方法，其特征在于：所述步驟S3中，具體執行以下步驟，預測目標場景圖片中各個目標物體分別對應的中心點和角點向量，實現目標場景圖片中各目標物體的預測：步驟S3.1：隨機抽取目標場景標記圖片數據集中的一張圖片輸入神經網絡，神經網絡的目標物體特征提取模塊提取得到該圖片的64維特征向量，針對該圖片的64維特征向量分別使用256個3x3卷積核...

【專利技術屬性】
技術研發人員：趙磊，張鐵監，汪洋，葉劍，
申請(專利權)人：多倫科技股份有限公司，
類型：發明
國別省市：