一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法技術(shù)

本發(fā)明專(zhuān)利技術(shù)是一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其實(shí)施步驟為：步驟一：獲取受油機(jī)航拍圖像；步驟二：參數(shù)初始化；步驟三：受油機(jī)航拍圖像超像素分割；步驟四：受油機(jī)航拍圖像塊劃分；步驟五：計(jì)算單幀圖像的視頂蓋細(xì)胞響應(yīng)；步驟六：計(jì)算下一幀圖像的細(xì)胞響應(yīng)；步驟七：計(jì)算相鄰兩幀圖像的運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)；步驟八：計(jì)算運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)幅值；步驟九：計(jì)算各超像素運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)幅值；步驟十：確定運(yùn)動(dòng)目標(biāo)圖像坐標(biāo)；步驟十一：儲(chǔ)存運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。本發(fā)明專(zhuān)利技術(shù)提出的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法能夠準(zhǔn)確提取無(wú)人機(jī)硬式加油過(guò)程中的受油口，準(zhǔn)確確定受油口位置，該方法具有較高的準(zhǔn)確性和魯棒性。

An eagle eye visual moving target detection method for aerial refueling

The present invention is a method for simulating visual Hawkeye motion target detection method of aerial refueling, the implementation steps: step one: to obtain aerial image oil; step two: initialization parameters; step three: super pixel segmentation of aerial image oil machine; step four: the receiver aerial map like block partition; step five calculation of tectal cells in response to single frame image; step six: Calculation of the next frame image of the cell response; step seven: moving target cell calculation of two adjacent frames in response; step eight: calculate the motion response amplitude of target cells; step nine: calculate the super pixel motion target cell response amplitude; step ten: to determine the moving target image coordinates; step Eleven: storing the results of moving object detection. The eye movement detection method of the eagle eye based on the invention can accurately extract the oil inlet in the hard refueling process of the UAV, and accurately determine the position of the oil receiving port, and the method has higher accuracy and robustness.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法一、
本專(zhuān)利技術(shù)是一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，屬于計(jì)算機(jī)視覺(jué)
二、
技術(shù)介紹
無(wú)人機(jī)作為無(wú)人駕駛的航空飛行器在軍事和民用方面均有著廣泛的應(yīng)用。但是由于攜帶燃油量有限，無(wú)人機(jī)的航行距離和載荷能力受到了嚴(yán)重的制約。為了提高無(wú)人機(jī)性能和功能，拓展其作戰(zhàn)能力邊界，提高作戰(zhàn)性能，美國(guó)等紛紛將無(wú)人機(jī)自主空中加油技術(shù)列入當(dāng)前研究重點(diǎn)。無(wú)人機(jī)空中加油技術(shù)的應(yīng)用能夠大大增加其續(xù)航時(shí)間，為攜帶更多的任務(wù)載荷提供可能。無(wú)人機(jī)空中加油系統(tǒng)主要可分為軟式(插頭-錐套式)和硬式(伸縮管式)兩種。硬式空中加油系統(tǒng)具有加油效率高，速度快，對(duì)受油機(jī)機(jī)動(dòng)性要求較低等優(yōu)點(diǎn)，且可給大型飛機(jī)加油。因此，目前在美國(guó)空軍中主要采用的是硬式空中加油系統(tǒng)。硬式空中加油系統(tǒng)的主體是安裝在加油機(jī)尾部的伸縮套管，套管根部用萬(wàn)向鉸鏈與加油機(jī)尾部承力機(jī)構(gòu)相連，伸縮套管本身由內(nèi)、外套管組成。不加油時(shí)伸縮套管縮至最短。加油時(shí)放下伸縮套管，受油機(jī)進(jìn)入對(duì)接范圍后，操縱加油嘴插入受油機(jī)背部的受油插座并鎖定。加油過(guò)程中受油機(jī)可在一定范圍內(nèi)機(jī)動(dòng)。加油完畢后，操縱縮回內(nèi)管，拔出加油嘴，受油機(jī)脫離。本專(zhuān)利主要用于解決硬式空中加油過(guò)程中的受油口運(yùn)動(dòng)目標(biāo)檢測(cè)。相對(duì)于其他導(dǎo)引技術(shù)，視覺(jué)導(dǎo)引技術(shù)具有精度高、成本低、不依賴(lài)外部信息等特點(diǎn)，因此視覺(jué)導(dǎo)引是無(wú)人機(jī)空中加油的一種可行導(dǎo)引方案，且是當(dāng)前無(wú)人機(jī)自主空中加油技術(shù)的一個(gè)研究熱點(diǎn)。在視覺(jué)導(dǎo)引方案中相機(jī)放置在加油機(jī)的伸縮管附近，同時(shí)在受油機(jī)的受油口附近添加特定的視覺(jué)標(biāo)識(shí)，當(dāng)無(wú)人機(jī)與加油機(jī)靠近時(shí)，拍攝無(wú)人機(jī)上方的受油口的標(biāo)識(shí)，并進(jìn)行后續(xù)圖像處理，從而實(shí)現(xiàn)對(duì)受油機(jī)的準(zhǔn)確檢測(cè)。仿生視覺(jué)信息處理機(jī)制相比于一般的計(jì)算機(jī)視覺(jué)具有處理速度快、精度高等優(yōu)勢(shì)，并因此得到了廣泛研究。鷹的生活環(huán)境和捕食習(xí)慣決定了其更加適用于由上而下的視景下的目標(biāo)檢測(cè)，尤其是在目標(biāo)較小、目標(biāo)與背景對(duì)比度較低、目標(biāo)與背景有明顯相對(duì)運(yùn)動(dòng)情況下的目標(biāo)檢測(cè)，這與無(wú)人機(jī)空中加油運(yùn)動(dòng)目標(biāo)檢測(cè)的任務(wù)需求相吻合。鷹視頂蓋細(xì)胞接受來(lái)自對(duì)側(cè)視網(wǎng)膜的投射，其感受野通常由一個(gè)興奮性的中心和一個(gè)抑制性周邊構(gòu)成，且中心區(qū)域相對(duì)較小，周邊區(qū)域相對(duì)較大。視頂蓋可分成15層，其細(xì)胞感受野隨著深度增加而逐漸增大，可能反映視頂蓋細(xì)胞對(duì)視覺(jué)信息的整合作用，深層細(xì)胞對(duì)淺層細(xì)胞由整合匯聚作用。研究表明70％的視頂蓋細(xì)胞對(duì)運(yùn)動(dòng)敏感，這些運(yùn)動(dòng)敏感神經(jīng)元中30％具有高度的方向選擇性。如果能夠模擬視頂蓋細(xì)胞的運(yùn)動(dòng)敏感特性及深層細(xì)胞對(duì)淺層細(xì)胞的整合匯聚作用，并將鷹眼的運(yùn)動(dòng)目標(biāo)檢測(cè)機(jī)制運(yùn)用于無(wú)人機(jī)空中加油中，將有可能從很大程度上提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性。本專(zhuān)利技術(shù)使用E-I網(wǎng)絡(luò)模型模擬鷹視頂蓋細(xì)胞感受野，計(jì)算圖像對(duì)應(yīng)的離頂蓋細(xì)胞響應(yīng)，并使用簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法模擬鷹的深層視頂蓋細(xì)胞對(duì)淺層視頂蓋細(xì)胞響應(yīng)的匯聚作用，通過(guò)計(jì)算各超像素的仿鷹視頂蓋運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)得到加油機(jī)所在位置信息。無(wú)人機(jī)加油過(guò)程中，視覺(jué)系統(tǒng)的圖像輸入數(shù)據(jù)可以看作是由基函數(shù)線性組合而成：觀測(cè)數(shù)據(jù)向量X為輸入圖像塊得到的向量，其大小為P*1，P＝p2，p為在原圖像空間上正方形圖像塊的寬度；A是一組基向量構(gòu)成的矩陣，其大小為P*Q，即每個(gè)基向量的大小為P，共有Q個(gè)基向量；s為基函數(shù)系數(shù)，其大小為Q*1。編碼訓(xùn)練得到的基底是超完備的，s的變化將基函數(shù)線性組合起來(lái)以精確地表示輸入向量X。n為高斯分布的白噪聲。模擬鷹視頂蓋細(xì)胞的編碼過(guò)程即為A與s的求解過(guò)程，該問(wèn)題的目標(biāo)函數(shù)如下：||X-As||2為重構(gòu)誤差，該誤差代表了基向量與基函數(shù)系數(shù)的編碼準(zhǔn)確度，亦是編碼有效性的表征。u(si)為稀疏函數(shù)，它決定了基函數(shù)系數(shù)s的稀疏程度，這種稀疏性是視覺(jué)系統(tǒng)能夠高速有效的工作的重要因素。λ是一個(gè)常數(shù)，用來(lái)決定誤差和稀疏函數(shù)的權(quán)衡。E-I網(wǎng)絡(luò)模型是一種稀疏編碼算法，該算法最初用于模擬初級(jí)視皮層細(xì)胞感受野與響應(yīng)特點(diǎn)。實(shí)驗(yàn)表明鷹視頂蓋細(xì)胞感受野與初級(jí)視皮層感受野均為中央興奮周邊抑制型，因此本專(zhuān)利技術(shù)將E-I網(wǎng)絡(luò)模型用于模擬鷹視頂蓋細(xì)胞感受野，并計(jì)算運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)。本專(zhuān)利技術(shù)使用簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法模擬鷹視頂蓋深層細(xì)胞對(duì)淺層細(xì)胞的整合匯聚作用，將具有高度相似性的像素作為一個(gè)整體進(jìn)行處理。簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法首先按照設(shè)置的超像素大小，在圖像中均勻生成聚類(lèi)中心即種子節(jié)點(diǎn)。假設(shè)每個(gè)超像素包含M個(gè)像素，圖像中的像素總數(shù)為N，則可生成[N/M]([·]表示取整運(yùn)算)個(gè)超像素，每塊超像素的邊長(zhǎng)近似為隨后在聚類(lèi)中心附近n*n的鄰域內(nèi)對(duì)種子節(jié)點(diǎn)進(jìn)行重新選取，計(jì)算種子節(jié)點(diǎn)鄰域中各像素點(diǎn)的梯度值，并取梯度值最小的像素點(diǎn)作為新的種子節(jié)點(diǎn)，對(duì)每個(gè)種子節(jié)點(diǎn)鄰域內(nèi)的所有像素點(diǎn)分配其所屬的類(lèi)標(biāo)簽，確定出每個(gè)像素點(diǎn)的聚類(lèi)中心。對(duì)于每個(gè)像素點(diǎn)，分別計(jì)算它和種子節(jié)點(diǎn)的顏色距離dc和空間距離ds，并得出最終的距離度量D'，距離計(jì)算過(guò)程如下：其中，為類(lèi)內(nèi)空間最大距離，Nc為最大顏色距離，最終的距離度量可表示為：由于圖像中的每個(gè)像素點(diǎn)都會(huì)被多個(gè)種子節(jié)點(diǎn)搜索到，計(jì)算每個(gè)像素點(diǎn)與周?chē)N子點(diǎn)的距離，并去與其距離最小的種子節(jié)點(diǎn)作為該像素點(diǎn)的聚類(lèi)中心。將上述步驟重復(fù)迭代多次直到聚類(lèi)中心不發(fā)生變化。三、
技術(shù)實(shí)現(xiàn)思路
1、專(zhuān)利技術(shù)目的：本專(zhuān)利技術(shù)提出了一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其目的是模擬鷹視頂蓋細(xì)胞對(duì)運(yùn)動(dòng)信息的處理機(jī)制及深層細(xì)胞對(duì)淺層細(xì)胞的整合匯聚作用，實(shí)現(xiàn)對(duì)受油口的準(zhǔn)確檢測(cè)，提供精確可靠的受油機(jī)動(dòng)態(tài)位置信息，為無(wú)人機(jī)空中加油視覺(jué)導(dǎo)航中的運(yùn)動(dòng)目標(biāo)檢測(cè)提供一種解決方案。該方法使用簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法模擬視頂蓋深層細(xì)胞對(duì)淺層細(xì)胞的整合匯聚作用，使用E-I網(wǎng)絡(luò)模型模擬鷹視頂蓋細(xì)胞的細(xì)胞感受野模型。首先通過(guò)加油機(jī)上裝載的攝像機(jī)獲取兩幀受油機(jī)圖像，然后利用Matlab軟件編寫(xiě)相應(yīng)算法，計(jì)算輸入的兩幀圖像所對(duì)應(yīng)的視頂蓋細(xì)胞響應(yīng)，對(duì)兩幀圖像的視頂蓋細(xì)胞響應(yīng)作差從而計(jì)算出運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)及其幅值，計(jì)算每個(gè)超像素內(nèi)的運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)平均幅值。根據(jù)運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)幅值進(jìn)行自適應(yīng)閾值分割，運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)較大的區(qū)域即為當(dāng)前受油機(jī)所在位置，將其輸出即可。2、技術(shù)方案：本專(zhuān)利技術(shù)所用的E-I網(wǎng)絡(luò)模型很好的模擬了具有方向選擇性的鷹視頂蓋細(xì)胞感受野，且具有細(xì)胞響應(yīng)稀疏、非監(jiān)督學(xué)習(xí)等特點(diǎn)，所用的簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法能夠?qū)儆谕晃矬w的多個(gè)像素點(diǎn)聚類(lèi)到一個(gè)超像素中，并以此模擬鷹視頂蓋細(xì)胞由淺層到深層的匯聚作用，可保證檢測(cè)目標(biāo)完整性。基于該方法開(kāi)發(fā)一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法的具體步驟如下：步驟一：獲取受油機(jī)航拍圖像在加油機(jī)上搭載攝像機(jī)及機(jī)載處理器，運(yùn)行相機(jī)連續(xù)采集程序，將加油機(jī)和受油機(jī)飛行至一定高度，加油機(jī)高度高于受油機(jī)，調(diào)整加油機(jī)視場(chǎng)角度使得拍攝得到航拍圖像中含有受油機(jī)及受油口。步驟二：參數(shù)初始化確定所需要的鷹眼視頂蓋細(xì)胞感受野(即基向量)個(gè)數(shù)Q，每個(gè)感受野的大小P，步驟一獲得的受油機(jī)航拍圖像空間上的圖像正方形塊寬度p，每個(gè)超像素包含的像素個(gè)數(shù)M，步驟一獲得的受油機(jī)航拍圖像寬度m、高度n、像素總數(shù)N＝m*n，最大顏色距離Nc，簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法迭代次數(shù)iter。步驟三：受油機(jī)航拍圖像超像素分割使用簡(jiǎn)單迭代線性聚類(lèi)超像素本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法的具體步驟如下：步驟一：獲取受油機(jī)航拍圖像在加油機(jī)上搭載攝像機(jī)及機(jī)載處理器，運(yùn)行相機(jī)連續(xù)采集程序，將加油機(jī)和受油機(jī)飛行至一定高度，加油機(jī)高度高于受油機(jī)，調(diào)整加油機(jī)視場(chǎng)角度使得拍攝得到航拍圖像中含有受油機(jī)及受油口；步驟二：參數(shù)初始化確定所需要的鷹眼視頂蓋細(xì)胞感受野個(gè)數(shù)Q，每個(gè)感受野的大小P，步驟一獲得的受油機(jī)航拍圖像空間上的圖像正方形塊寬度p，每個(gè)超像素包含的像素個(gè)數(shù)M，步驟一獲得的受油機(jī)航拍圖像寬度m、高度n、像素總數(shù)N＝m*n，最大顏色距離N

【技術(shù)特征摘要】
1.一種用于空中加油的仿鷹眼視覺(jué)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法的具體步驟如下：步驟一：獲取受油機(jī)航拍圖像在加油機(jī)上搭載攝像機(jī)及機(jī)載處理器，運(yùn)行相機(jī)連續(xù)采集程序，將加油機(jī)和受油機(jī)飛行至一定高度，加油機(jī)高度高于受油機(jī)，調(diào)整加油機(jī)視場(chǎng)角度使得拍攝得到航拍圖像中含有受油機(jī)及受油口；步驟二：參數(shù)初始化確定所需要的鷹眼視頂蓋細(xì)胞感受野個(gè)數(shù)Q，每個(gè)感受野的大小P，步驟一獲得的受油機(jī)航拍圖像空間上的圖像正方形塊寬度p，每個(gè)超像素包含的像素個(gè)數(shù)M，步驟一獲得的受油機(jī)航拍圖像寬度m、高度n、像素總數(shù)N＝m*n，最大顏色距離Nc，簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法迭代次數(shù)iter；步驟三：受油機(jī)航拍圖像超像素分割使用簡(jiǎn)單迭代線性聚類(lèi)超像素分割方法對(duì)當(dāng)前幀受油機(jī)航拍圖像進(jìn)行超像素分割，并存儲(chǔ)每個(gè)超像素中所包含的像素點(diǎn)坐標(biāo)；步驟四：受油機(jī)航拍圖像塊劃分對(duì)步驟一采集到的受油機(jī)航拍圖像進(jìn)行灰度化，并對(duì)圖像大小進(jìn)行調(diào)整，將其寬度與高度均設(shè)置為感受野大小的整數(shù)倍，并分成與感受野濾波大小相同的圖像塊；步驟五：計(jì)算單幀圖像的視頂蓋細(xì)胞響應(yīng)對(duì)于步驟四中得到的各個(gè)圖像塊使用E-I網(wǎng)絡(luò)模型計(jì)算鷹視頂蓋細(xì)胞響應(yīng)；若步驟四中調(diào)整后的圖像寬度為p*w，高度為p*h，則該幅圖像共有w*h個(gè)圖像塊需要計(jì)算細(xì)胞響應(yīng)，每個(gè)圖像塊的細(xì)胞響應(yīng)為Q維；因此，最終計(jì)算得到的當(dāng)前幀圖像對(duì)應(yīng)的細(xì)胞響應(yīng)為w*h*Q的三維矩陣；步驟六：計(jì)算下一幀圖像的細(xì)胞響應(yīng)判斷當(dāng)前幀圖像是否為第一幀，若是則計(jì)算下一幀圖像的細(xì)胞響應(yīng)，計(jì)算方法同步驟五，計(jì)算完成后轉(zhuǎn)至步驟七；步驟七：計(jì)算相鄰兩幀圖像的運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)將當(dāng)前圖像的細(xì)胞響應(yīng)與上一幀圖像的細(xì)胞響應(yīng)做差，得到w*h*Q三維的運(yùn)動(dòng)目標(biāo)細(xì)胞響應(yīng)矩陣：

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：段海濱，王曉華，張平，
申請(qǐng)(專(zhuān)利權(quán))人：北京航空航天大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：北京,11