一種基于量子圖像傳感器的單光子計數成像系統及方法技術方案

本發明專利技術涉及一種基于量子圖像傳感器的單光子計數成像系統及方法，屬于圖像信息處理技術領域。系統包括圖像獲取模塊、圖像預處理模塊、圖像去噪模塊、最優參數序列決策模塊和圖像重建模塊。首先對量子圖像傳感器獲取的二進制觀測數據統一進行預處理，獲得待重建圖像。然后，將訓練好的深度卷積神經網絡作為去噪器插入即插即用的交替方向乘子法框架中，構建單光子圖像迭代重建流程。將迭代重建流程建模為馬爾可夫過程，通過強化學習算法求解其中最優參數序列，將求得最優參數序列代入迭代重建流程中，得到最終的重建圖像。本發明專利技術僅需一次訓練便可得到用于多個過采樣率下單光子圖像重建的自動參數選取策略，有效實現更快的收斂速度和更好的重建質量。度和更好的重建質量。度和更好的重建質量。

【技術實現步驟摘要】
一種基于量子圖像傳感器的單光子計數成像系統及方法


[0001]本專利技術涉及一種基于量子圖像傳感器的單光子計數成像系統及方法，具體涉及一種對量子圖像傳感器輸出二值圖像進行重建的免調參即插即用方法及系統，屬于圖像信息處理


技術介紹

[0002]量子圖像傳感器是一種新型圖像傳感器，旨在克服像素尺寸不斷縮小帶來的傳感器性能瓶頸問題，有限的滿阱容量使生成圖像具有非常低的信噪比和較小動態范圍。
[0003]在傳統的CMOS圖像傳感器中，通過在每個像素中累積大量光電子，并將這些電荷轉換為電壓，進而通過模數轉換來生成數字圖像。然而，隨著像素尺寸的不斷縮小，落在單個像素上的光子數量也會隨之下降。在弱光或高速成像的條件下，嚴重的光子噪聲將會使圖像信噪比急劇下降，難于獲取有意義的圖像。量子圖像傳感器通過對場景進行過采樣來解決這個問題，在每個單位空間中，它使用許多具有很高光子靈敏度的微小單光子探測器來捕獲通常意義上單個像素所對應的光強。其中，每個單光子探測器都可以捕獲該區域所對應的光強并轉化為光子計數的形式，最后通過設定閾值截斷光子計數值輸出最終的二進制圖像，該二值觀測圖像服從截斷泊松分布。由此，量子圖像傳感器可以實現以非常高的幀速率計數單個光子，并具有很高的空間分辨率。在弱光信號感知探測、超遠距離單光子三維成像、高速成像等方面，量子圖像傳感器均具有良好的發展前景。
[0004]然而，從量子圖像傳感器獲取的數據是二值圖像幀，需要通過圖像重建技術來恢復圖像。現有的量子圖像傳感器圖像重建方法包括基于優化建模的傳統方法和基于深度學習的方法。其中，大部分傳統方法基于最大似然估計或是最大后驗估計，它們需要使用梯度下降、動態規劃或是一階迭代近端優化方法來完成迭代優化，此類方法通常僅使用成像系統的前向模型及簡單的人工設計先驗，重建質量較差。
[0005]基于深度學習的方法利用深度卷積神經網絡替代變換去噪流程中的去噪器部分或是端到端的學習整個單光子計數成像流程，將學習到的先驗知識隱式的嵌入到卷積神經網絡的參數中。雖然基于深度學習的方法往往可以取得較高的重建質量，但是它必須為不同任務甚至不同設置的相同任務單獨訓練模型，喪失了靈活性。
[0006]因此，為了達到更高成像空間分辨率、更好的單光子圖像重建質量，或為了滿足即插即用、具有任務間靈活遷移能力的應用需求，迫切需要一種重建質量較好、免調參即插即用的單光子計數成像技術。

技術實現思路

[0007]本專利技術目的是針對現有技術存在的缺陷和不足，為了解決現有方法通過手工制定的參數導致重建結果難以接近最優值，以及在面對不同過采樣倍率的待重建輸入圖像時需要設計和訓練單獨的模型等技術問題，創造性地提出了一種基于量子圖像傳感器的單光子計數成像系統及方法。
[0008]為達到上述目的，本專利技術采用以下技術方案實現：
[0009]一種基于量子圖像傳感器的單光子計數成像方法，包括以下步驟：
[0010]步驟1：對量子圖像傳感器獲取的原始二進制觀測數據統一進行預處理，獲得原始的待重建圖像。
[0011]其中，數據預處理包括將過采樣的二進制觀測數據中每組微小光子探測器捕獲的光強數據均求和為單個像素值，將不同過采樣倍率下的待重建圖像縮放到統一尺寸大小。
[0012]步驟2：使用干凈
?
帶噪聲的成對自然圖像數據集作為輸入，對圖像去噪深度卷積網絡進行訓練。
[0013]具體地，圖像去噪深度卷積網絡采用殘差U
?
Net架構，并將可調的噪聲級別圖作為額外通道合并到輸入中，使得單個網絡能夠對不同噪聲強度的圖像進行去噪。
[0014]步驟3：將訓練好的深度卷積神經網絡作為去噪器插入即插即用的交替方向乘子法框架中，構建單光子圖像迭代重建的流程。
[0015]將構建的單光子圖像迭代重建流程建模為一個完全可觀測的馬爾可夫過程，通過強化學習算法求解迭代重建流程中的最優參數序列。
[0016]所述即插即用，是一種結合了近端算法及圖像去噪先驗的非凸優化框架，它應用迭代優化中近端計算與圖像去噪的等價性，使用現有去噪器替代一階優化算法中的近端算子。
[0017]所述交替方向乘子法是一種一階迭代近端優化算法，具有模塊化的結構，將其結合即插即用框架，通過插入已訓練好的去噪器來完成其中子問題的求解。
[0018]所述強化學習算法結合無模型強化學習和基于模型強化學習思想，可以聯合優化即插即用框架下單光子圖像重建模型中離散的迭代停止時間和連續的降噪強度/懲罰參數。
[0019]步驟4：利用強化學習算法學習得到的最優決策網絡決定迭代重建流程中的最優參數序列，將其輸入到即插即用的交替方向乘子法框架中，得到最終的重建圖像。
[0020]進一步地，為實現本專利技術所述目的，本專利技術還提出了一種基于量子圖像傳感器的單光子計數成像系統，包括圖像獲取模塊、圖像預處理模塊、圖像去噪模塊、最優參數序列決策模塊、圖像重建模塊。
[0021]其中，圖像獲取模塊，用于獲取二進制觀測數據。
[0022]圖像預處理模塊，用于對原始的二進制觀測數據進行數據預處理，將不同過采樣倍率下的待重建圖像縮放到統一尺寸大小；
[0023]圖像去噪模塊，用于訓練生成端到端的可插入去噪器；
[0024]最優參數序列決策模塊，用于生成即插即用交替方向乘子法框架中的最優參數序列，包括離散的迭代停止時間以及連續的降噪強度和懲罰參數，從而自適應地為重建任務中不同輸入圖像與過采樣倍率提供最優參數。
[0025]圖像重建模塊，用于將二進制原始觀測數據迭代重建為輸出圖像。
[0026]上述模塊之間的連接關系包括：
[0027]圖像獲取模塊的輸出端與圖像預處理模塊的輸入端相連；圖像預處理模塊的輸出端、圖像去噪模塊的輸出端、最優參數序列決策模塊的輸出端，均與圖像重建模塊的輸入端相連。
[0028]有益效果
[0029]本專利技術，對比現有技術，具有以下優點：
[0030]1.本專利技術有效的解決了現有方法存在的單光子圖像重建質量較差的問題，以及由于現有方法需手工設定參數而導致的收斂速度較慢、重建結果很難接近理論最優值的技術問題。
[0031]2.本專利技術實現了自適應的針對不同成像條件自動選取合適的參數，同時無需復雜的網絡再訓練過程，具有任務間靈活遷移能力，僅需一次訓練便可得到用于多個過采樣倍率下單光子圖像重建的自動參數選取策略，為單光子計數成像應用提供更快的收斂速度和更好的重建質量。
附圖說明
[0032]圖1為本專利技術方法的總體流程圖；
[0033]圖2為本專利技術方法的算法流程圖；
[0034]圖3為本專利技術系統的結構示意圖。
具體實施方式
[0035]為了更好的說明本專利技術的目的和優點，下面結合附圖對本專利技術做進一步詳細說明。
[0036]如圖1所示，一種基于量子圖像傳感器的單光子計數成像方法，包括以下步驟：
[0037]步驟S10：對量子圖像傳感器本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于量子圖像傳感器的單光子計數成像方法，其特征在于，包括以下步驟：步驟1：對量子圖像傳感器獲取的原始二進制觀測數據統一進行預處理，獲得原始的待重建圖像；其中，數據預處理包括將過采樣的二進制觀測數據中每組微小光子探測器捕獲的光強數據均求和為單個像素值，將不同過采樣倍率下的待重建圖像縮放到統一尺寸大小；步驟2：使用干凈
?
帶噪聲的成對自然圖像數據集作為輸入，對圖像去噪深度卷積網絡進行訓練；步驟3：將訓練好的深度卷積神經網絡作為去噪器插入即插即用的交替方向乘子法框架中，構建單光子圖像迭代重建的流程；將構建的單光子圖像迭代重建流程建模為一個完全可觀測的馬爾可夫過程，通過強化學習算法求解迭代重建流程中的最優參數序列；步驟4：將求得最優參數序列輸入至即插即用的交替方向乘子法框架中，得到最終的重建圖像。2.如權利要求1所述的一種基于量子圖像傳感器的單光子計數成像方法，其特征在于，步驟1中，數據預處理包括對原始過采樣倍率為K的二進制觀測數據中每K個微小光子探測器捕獲的光強數據進行求和，輸出為原始待重建圖像中的單個像素值。3.如權利要求1所述的一種基于量子圖像傳感器的單光子計數成像方法，其特征在于，步驟2中的圖像去噪深度卷積網絡，采用去噪殘差U
?
Net網絡。4.如權利要求1所述的一種基于量子圖像傳感器的單光子計數成像方法，其特征在于，步驟3中，將迭代重建流程建模為馬爾可夫過程，利用強化學習網絡學習迭代重建流程中的參數序列，獲得最優決策網絡，包括以下步驟：步驟S31：將即插即用框架下的單光子迭代重建問題建模為一個完全可觀測的馬爾可夫過程；馬爾可夫決策過程用一個五元組表示；其中，表示狀態的集合，即優化變量的狀態空間(x
k
,z
k
,u
k
)，x
k
表示第k次迭代時的待去噪圖像，z
k
表示第k次迭代時的去噪后圖像，u
k
表示第k次迭代時的更新量；表示動作集合，即內部參數的選擇空間，在QIS圖像重建任務中，將動作分解為a＝(a1,a2)兩部分，動作a1表示迭代停止時間τ的離散動作空間，動作a2表示降噪強度和懲罰參數(σ
k
,μ
k
)的連續動作空間，σ
k
表示降噪強度，μ
k
表示懲罰參數；表示狀態轉移函數，其將輸入狀態映射到采取行動a之后的下一狀態s
′
，，表示獎勵函數，表示在當前狀態下，采取行動之后下一時刻所能獲得的期望獎勵；用于評估給定狀態下的動作；將選取的參數序列{σ0,μ0,
…
,σ
τ
,μ
τ
}作用于初始輸入狀態s0，得到狀態、動作和獎勵的序列T＝{s0,a0,r0,
…
,s
τ
,a
τ
,r
τ
}，其中，σ0表示作用于初始狀態s0的降噪強度，μ0表示作用于初始狀態s0的懲罰參數，σ
τ
表示作用于狀態s
τ
的降噪強度，μ
τ
表示作用于狀態s
τ
的懲罰參數，a0表示在初始狀態s0采取的動作決策，r0表示在狀態s0采取行動a0后下一時刻所能獲得的期望獎勵，s
τ
表示經過τ次迭代后的狀態，a
τ
表示在狀態s
τ
采取的動作決策，r
τ
表示在狀態s
τ
采取行動a

【專利技術屬性】
技術研發人員：付瑩，陳爽，鄭德智，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：