本發(fā)明專利技術(shù)涉及一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法及裝置，方法包括：基于DVS圖像大小和降采樣因子確定采樣區(qū)域的數(shù)量，將采樣區(qū)域與計數(shù)器一一對應；每當有新的DVS事件到來，計算該DVS事件所對應的采樣區(qū)域，更新該DVS事件的采樣區(qū)域所對應的計數(shù)器；當表示新的一幀開始的framesync信號有效時，從存儲空間的首地址開始，依次對各個地址進行讀取清零操作，得到事件幀。與現(xiàn)有技術(shù)相比，本發(fā)明專利技術(shù)將降采樣和像素計數(shù)同時進行，減少了計數(shù)器的數(shù)量，從而減少了存儲空間的大小，降低了成本；摒棄乒乓緩存的方式，存儲空間中只存儲一幀事件幀的計數(shù)器，進一步減少了存儲空間的大小，降低了成本。低了成本。低了成本。
【技術(shù)實現(xiàn)步驟摘要】
一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法及裝置
[0001]本專利技術(shù)涉及圖像處理
，尤其是涉及一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法及裝置。
技術(shù)介紹
[0002]傳統(tǒng)的視覺圖像采集方式以固定頻率采集的“幀”為基礎(chǔ)，基于這些連續(xù)的圖像幀進行圖像處理和特征提取等操作時，圖像采集傳感器需要以較高的幀率運行，而且輸出的圖像流中包含大量與目標無關(guān)的冗余數(shù)據(jù)，具有高冗余、高延遲、高噪聲、低動態(tài)范圍和高數(shù)據(jù)量等缺陷。
[0003]現(xiàn)有技術(shù)中，基于地址、事件表達的視覺圖像傳感器(DVS)模仿生物視覺的工作機理，像素異步工作，對于單個像素點，只有當其接受光強度發(fā)生改變時，才會有事件(脈沖)信號輸出，比如說亮度變化超過一個閾值，那么將增加一個該像素點亮度變化的事件，輸出事件的地址(對應像素位置)和事件的性質(zhì)(變亮變暗等)。在動態(tài)視覺傳感器中當僅輸出光強發(fā)生變化像素的地址及其變化的符號，而不是被動依次讀出“幀”內(nèi)每個像素信息，從源頭上消除冗余數(shù)據(jù)，具有場景變化實時動態(tài)響應、圖像超稀疏表示、事件異步輸出等特點。在像素光強很少變化時，DVS輸出的事件數(shù)很少，從而減少冗余數(shù)據(jù)，降低系統(tǒng)功耗。每個像素獨立工作，當像素光強變化很快時，DVS會在微秒量級的延遲內(nèi)輸出相應的事件，結(jié)合脈沖神經(jīng)網(wǎng)絡(SNN)的脈沖輸入特性，可以在較短的延遲內(nèi)實現(xiàn)圖像的分類，可以應用于高速目標跟蹤等場景。
[0004]深度神經(jīng)網(wǎng)絡(DNN)研究近年來取得了飛速發(fā)展并得到初步應用，實現(xiàn)這樣的深度學習算法，通常需要消耗大量的算力。基于深度神經(jīng)網(wǎng)絡的圖像處理方法中，對DVS數(shù)據(jù)進行訓練與基于活躍像素傳感器(APS)的普通圖像數(shù)據(jù)進行訓練類似，目前主流的算法還是以幀為單位。這就需要將DVS事件(攜帶像素地址信息和脈沖的正負號)轉(zhuǎn)成幀，當然幀率可以比APS幀率高很多，例如1000幀/秒。
[0005]中國專利CN113012200A中公開了一種運動物體的定位方法、裝置、電子設(shè)備及存儲介質(zhì)，獲取事件流信息，并根據(jù)預設(shè)采樣周期，對所述事件流信息進行采樣，以獲取采樣事件幀，基于采樣事件幀進行后續(xù)處理。現(xiàn)有技術(shù)中，DVS事件轉(zhuǎn)幀一般的實現(xiàn)方法如下：設(shè)定時間間隔，時間間隔內(nèi)DVS至少要輸出一次事件，在時間間隔內(nèi)，一個像素點每增加一個事件，則該像素點增加一個計數(shù)，時間間隔結(jié)束后統(tǒng)計每個像素點的計數(shù)，輸出所有的像素點對應的計數(shù)，從而得到事件幀。具體的：當表示新的一幀開始的framesync信號有效時，輸出統(tǒng)計的每個像素的計數(shù)值作為事件幀，同時將這些像素的計數(shù)值清零，開始下一幀中的像素計數(shù)。
[0006]假定DVS像素數(shù)為1024*768，對每個像素進行計數(shù)實現(xiàn)事件到幀的轉(zhuǎn)換時，假定每個像素的計數(shù)器位寬為8比特，那么做DVS事件到幀的轉(zhuǎn)換，所需的存儲空間為1024*768*8比特＝1024*768Byte＝768K Byte。在framesync有效后，開始存儲空間的讀取和清零，這將持續(xù)較長的時間，如果存儲空間是有1個讀端口和1個寫端口的深度為192K，寬度是32比特
的SRAM，(寬度指的是能存多長的數(shù)據(jù)，深度指的是能存多少個這么長的數(shù)據(jù))，這個讀出過程會持續(xù)192K時鐘周期。在這段時間內(nèi)，很有可能又有新的DVS事件到來，為了讓后一幀與正在讀出的一幀互不干擾，存儲空間一般是分為兩部分(乒乓緩存)：前一幀在第一部分緩存中，在第一部分緩存讀出的過程中到來的事件進入后一幀的統(tǒng)計，后一幀的計數(shù)器在第二部分緩存中。下一個framesync有效時，第二部分的緩存讀出，新事件計數(shù)進入第一部分緩存。因此，乒乓緩存條件下，要求的存儲空間為768K*2＝1536K Byte。
[0007]由于DVS的像素數(shù)(例如1024*768)較大，往往超過神經(jīng)網(wǎng)絡支持的最大像素數(shù)(例如224*224)，同時神經(jīng)網(wǎng)絡不需要較高的分辨率就能進行分類，這就需要對轉(zhuǎn)換后的幀實現(xiàn)降采樣(或者稱為池化)。典型的DVS數(shù)據(jù)事件轉(zhuǎn)幀的實現(xiàn)如圖2所示，通過對DVS中的每個像素進行計數(shù)實現(xiàn)了事件到幀的轉(zhuǎn)換，然后對一個幀中的數(shù)據(jù)進行降采樣(如4:1降采樣等)，就可以得到適用于神經(jīng)網(wǎng)絡的事件幀。在降采樣時，降采樣后的數(shù)據(jù)位寬可能超過了預設(shè)的位寬，可以做截斷處理(在精度降低很少的情況下)。現(xiàn)有技術(shù)中，如果考慮到降采樣過程，在存儲空間中需要一塊空間用來存放對像素進行計數(shù)得到的幀，還需要一塊空間存放對幀中的數(shù)據(jù)進行降采樣得到的事件幀，要求的存儲空間會進一步增大。存儲空間大導致硬件成本較高，也影響了讀寫速度，增加了時間成本，因此需要一種低成本的動態(tài)視覺傳感器事件轉(zhuǎn)幀實現(xiàn)方法。
技術(shù)實現(xiàn)思路
[0008]本專利技術(shù)的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法及裝置。
[0009]本專利技術(shù)的目的可以通過以下技術(shù)方案來實現(xiàn)：
[0010]一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法，包括以下步驟：
[0011]S1、獲取DVS圖像大小和降采樣因子，基于DVS圖像大小和降采樣因子確定采樣區(qū)域的數(shù)量，將采樣區(qū)域與存儲空間中的計數(shù)器一一對應，記錄每個采樣區(qū)域所對應的計數(shù)器在存儲空間中的地址；
[0012]S2、每當有新的DVS事件到來，獲取該DVS事件的像素位置，計算該DVS事件所對應的采樣區(qū)域，更新該DVS事件的采樣區(qū)域所對應的計數(shù)器；
[0013]S3、當表示新的一幀開始的framesync信號有效時，從存儲空間的首地址開始，依次對各個地址進行讀取清零操作，得到事件幀，所述讀取清零操作具體為：讀出當前地址中計數(shù)器的讀數(shù)，將當前地址中的計數(shù)器清零。
[0014]進一步的，步驟S3中，將存儲空間中的計數(shù)器的讀數(shù)讀取至外部存儲器得到事件幀，在進行讀取清零操作時，先將當前地址中計數(shù)器的讀數(shù)讀取至片上緩存，同時將當前地址中的計數(shù)器清零，再從片上緩存中將計數(shù)器的讀數(shù)寫入外部存儲器。
[0015]進一步的，在對地址i中的計數(shù)器進行讀取清零操作的過程中，如果有新的DVS事件到來，則計算所述新的DVS事件所對應的計數(shù)器在存儲空間中的地址j：
[0016]如果j>i，則繼續(xù)對地址i中的計數(shù)器進行讀取清零操作，完成對地址i中的計數(shù)器的讀取清零操作后，更新所述新的DVS事件所對應的計數(shù)器，繼續(xù)進行下一地址的讀取清零操作；在讀取地址j中的計數(shù)器時，這一個新的DVS事件將被讀出，在當前讀取的事件幀中體現(xiàn)；
[0017]如果j<i，則繼續(xù)對地址i中的計數(shù)器進行讀取清零操作，完成對地址i中的計數(shù)器的讀取清零操作后，更新所述新的DVS事件所對應的計數(shù)器，繼續(xù)進行下一地址的讀取清零操作；這一個新的DVS事件將在下一次讀取的事件幀中體現(xiàn)；
[0018]如果j＝i，且計數(shù)器的讀數(shù)尚未寫入片上緩存，則讀出地址i中計數(shù)器的讀數(shù)，基于新的DVS事件更新讀出的計數(shù)器讀數(shù)，將更新后的計數(shù)器讀數(shù)寫入片上緩存，將地址i中的計數(shù)器清零，繼續(xù)進行下一地址的讀取清零操作；這一個新的DVS事件將體現(xiàn)在當前讀取的事件幀中；
[0019]如本文檔來自技高網(wǎng)...
【技術(shù)保護點】
【技術(shù)特征摘要】
1.一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法，其特征在于，包括以下步驟：S1、獲取DVS圖像大小和降采樣因子，基于DVS圖像大小和降采樣因子確定采樣區(qū)域的數(shù)量，將采樣區(qū)域與存儲空間中的計數(shù)器一一對應；S2、每當有新的DVS事件到來，獲取該DVS事件的像素位置，計算該DVS事件所對應的采樣區(qū)域，更新該DVS事件的采樣區(qū)域所對應的計數(shù)器；S3、當表示新的一幀開始的framesync信號有效時，從存儲空間的首地址開始，依次對各個地址進行讀取清零操作，得到事件幀，所述讀取清零操作具體為：讀出當前地址中計數(shù)器的讀數(shù)，將當前地址中的計數(shù)器清零。2.根據(jù)權(quán)利要求1所述的一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法，其特征在于，步驟S3中，將存儲空間中的計數(shù)器的讀數(shù)讀取至外部存儲器得到事件幀，在進行讀取清零操作時，先將當前地址中計數(shù)器的讀數(shù)讀取至片上緩存，同時將當前地址中的計數(shù)器清零，再從片上緩存中將計數(shù)器的讀數(shù)寫入外部存儲器。3.根據(jù)權(quán)利要求2所述的一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法，其特征在于，在對地址i中的計數(shù)器進行讀取清零操作的過程中，如果有新的DVS事件到來，則計算所述新的DVS事件所對應的計數(shù)器在存儲空間中的地址j：如果j>i，則繼續(xù)對地址i中的計數(shù)器進行讀取清零操作，完成對地址i中的計數(shù)器的讀取清零操作后，更新所述新的DVS事件所對應的計數(shù)器，繼續(xù)進行下一地址的讀取清零操作；如果j<i，則繼續(xù)對地址i中的計數(shù)器進行讀取清零操作，完成對地址i中的計數(shù)器的讀取清零操作后，更新所述新的DVS事件所對應的計數(shù)器，繼續(xù)進行下一地址的讀取清零操作；如果j＝i，且計數(shù)器的讀數(shù)尚未寫入片上緩存，則讀出地址i中計數(shù)器的讀數(shù)，基于新的DVS事件更新讀出的計數(shù)器讀數(shù)，將更新后的計數(shù)器讀數(shù)寫入片上緩存，將地址i中的計數(shù)器清零，繼續(xù)進行下一地址的讀取清零操作；如果j＝i，且計數(shù)器中的讀數(shù)已經(jīng)寫入片上緩存，則基于新的DVS事件直接寫入計數(shù)器的讀數(shù)，繼續(xù)進行下一地址的讀取清零操作。4.根據(jù)權(quán)利要求3所述的一種動態(tài)視覺傳感器事件轉(zhuǎn)幀的低成本實現(xiàn)方法，其特征在于，基于新的DVS事件更新讀出的計數(shù)器讀數(shù)具體為：如果計數(shù)器尚未計數(shù)至該計數(shù)器的最大值，則將計數(shù)器讀數(shù)加1，否則，計數(shù)器讀數(shù)保持不變；基于新的DVS事件直接寫入計數(shù)器的讀數(shù)具體為：對計數(shù)器進行寫1操作。5.根據(jù)權(quán)利要...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳克林，朱文俊，陳旭，呂正祥，袁抗，楊力鄺，
申請(專利權(quán))人：上海新氦類腦智能科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。