本發明專利技術公開了一種基于多處理器片上系統的多源圖像融合裝置，能夠提高融合系統的片上集成度，而且可以提高多源圖像融合處理速度。該裝置采用FPGA實現；FPGA上的處理器均為CPU軟核，IP核為根據多源圖像融合算法設計的用戶IP核；CPU_A1～CPU_An、重構IP核、片上計時器、片上以太網控制器和中斷控制器均接入總線BUS0；CPU_A1～CPU_An對應連接多分辨分解IP核IP_A1～IP_An，局部處理器CPU_A1～CPU_An均接入總線BUS1；IP_A1～IP_An以及重構IP核均通過多端口存儲控制器本地端口接口MPCM?NPI接口接入MPMC，MPMC同時接入BUS0和BUS1。
【技術實現步驟摘要】
本專利技術屬于圖像融合
，涉及一種基于多處理器片上系統的多源圖像融合>J-U ρ α裝直。
技術介紹
多源圖像融合是目標識別的預處理過程，通過融合得到目標圖像能夠獲取多種傳感器對于目標的有用信息，克服由單一傳感器的局限性給目標識別帶來的不利影響，提高對虛假目標的區別能力，從而滿足裝置的精確性、全天候性、抗干擾性。與單一圖像目標識別裝置相比，多源圖像融合有原始圖像海量數據存儲，緩存數據吞吐量成級數增加，多路數據并行高速處理等問題，使信息處理系統的實時性有很大壓力；同時圖像融合系統為目標探測與識別系統的前置預處理環節，這要求該系統具有體積小、可擴展性強、重量輕等特點。目前解決該問題的技術有:①利用7片TMS320C32 DSP組成“紅外/可見光雙通道數字圖像融合處理系統”，該系統中一片核心DSP (數字信號處理器)用于系統控制、各節點處理器初始化、任務調度與協調，不參與數據處理；另外6片DSP分為兩組，分別對應一個通道，完成局部通道處理，及全局處理。此系統通過合理分配融合算法及任務調度可以達到雙通道的實時處理要求，但難以滿足多源圖像處理系統的小體積、輕重量需求。②利用FPGA設計“雙波段實時紅外融合系統”。該系統利用FPGA(現場可編程門陣列)的吞吐率高、處理速度快的優勢完成了拉普拉斯金字塔多分辨分解的雙路圖像融合單片實現。但該設計完全通過片內邏輯資源，未采用FPGA片內處理器來實現，由于其單純的使用邏輯資源設計，其控制靈活度較低從而可擴展性較低。
技術實現思路
有鑒于此，本專利技術提供了一種基于多處理器片上系統的多源圖像融合裝置，根據多源圖像融合算法的特點，將算法分解為4個步驟，分布在FPGA中的軟核和用戶IP核中實現，提高融合系統的片上集成度，而且可以提高多源圖像融合處理速度。為了解決上述技術問題，本專利技術是這樣實現的:一種基于多處理器片上系統的多源圖像融合裝置，該裝置采用FPGA實現，該FPGA包括:局部處理器CPLA1 CPU_An、重構IP核、本地存儲器、多分辨分解IP核IP-A1 IP_An、片上計時器、片上以太網控制器、多端口存儲控制器MPMC、總線BUS0、總線BUS1、融合判決處理器CPU1 CPUm和中斷控制器；所述局部處理器和融合判決處理器為FPGA的CPU軟核；重構IP核和多分辨分解IP核為根據多源圖像融合算法設計的用戶IP核，是使用片內邏輯資源設計的自定義硬件邏輯模塊；每個局部處理器和每個融合判決處理器均連接一個本地存儲器，CPU_Ai CPU_An、重構IP核、片上計時器、片上以太網控制器和中斷控制器均接入總線BUSO ;局部處理器CPU_Ai CPU_An —對一地對應連接多分辨分解IP核IP-A1 IP_An，局部處理器CPU-A1 CPU_An均接入總線BUSl ;IP_Ai IP_An以及重構IP核均通過多端口存儲控制器本地端口接口 MPCM NPI接口接入MPMC，MPMC同時接入BUSO和BUSl ；片上以太網控制器，負責通過連接的外部以太網接口完成源數據輸入和處理結果的輸出；MPMC，用于連接片外存儲介質，采用片外存儲介質存儲待處理源數據以及融合處理中間量； CPU_Ai CPU_An，用于負責調用多分辨分解IP核ΙΡ_Αι IP_An，及多分辨分解IP核與MPMC的數據吞吐交互控制，CPU_A及IP_A的個數η為源圖像數；IP_Ai IP_An，用于并行執行多路源圖像局部預處理及多分辨分解；每完成一級分解在MPMC連接的片外存儲介質中存儲相應層級的完成標志位； CPU1 CPUm，每個CPU負責一個層級的圖像序列融合判決，在檢測到對應層級的完成標志位時執行本層級的圖像序列融合判決；同時CPU1還負責源數據傳輸控制，CPUni還負責疊代重構控制；m為多分辨分解級數；重構IP核，為所有融合判決處理器所共享，在CPUm的控制下，負責多分辨圖像序列疊代重構；片上計時器，用于完成重構IP核疊代的定時；中斷控制器，負責響應片上定時器中斷；本地存儲器，負責存放與其連接處理器的指令及本地數據。較佳地，各CPU1 CPUm之間進一步通過快速簡單連接FSL互聯，各CPU1 CPUm之間通過FSL交互各自處理完成情況，CPUm在確認CPU1 CPUm均完成本層級的圖像序列融合判決后，立刻控制重構IP核執行多分辨圖像序列疊代重構，并啟動片上計時器計時?；谏鲜鲅b置，本專利技術還公開了一種多源圖像融合裝置的多源圖像融合方法，該方法包括如下步驟:步驟1、所述多源圖像融合裝置上電啟動，進行初始化；步驟2、0 仏控制片上以太網控制器將外部多路圖像源數據通過BUSO存儲至MPMC連接的片外存儲介質中，存儲完畢時在該片外存儲介質中置標志位A ；步驟3、CPU_Ai CPU_An不斷通過BUSl檢測標志位A，當檢測到標志位A時，CPU_A1, CPU_A2,……，CPU_An 啟動，調用各自的 IP_A1; IP_A2,……，IP_An, IP_An 通過NPI接口和MPMC讀寫片外存儲介質中的圖像數據，并行完成各路圖像數據的預處理及多分辨分解；步驟4、其中一個多分辨分解IP核每完成多分辨分解中的一級j，即在MPMC連接的片外存儲介質中置標志位Bj, j的取值范圍為[l,m]；步驟5、CPU1 CPUni不斷通過BUSO檢測標志位，當CPUj檢測到標志位B」，立即啟動完成對應級的圖像序列融合判決；步驟6、待CPUm完成頂層圖像序列融合判決后立即控制共享的重構IP核執行多分辨圖像序列疊代重構過程，片上計時器開始計時，待重構過程時間超時后片上計時器觸發中斷，由中斷控制器響應該中斷并通知給CPU1 ;重構IP核在疊代重構過程結束時產生標志位C，該標志位C自重構過程啟動時即開始由CPU1檢測；步驟7、當CPU1檢測到標志位C則通過片上以太網控制器將融合后的圖像輸出至外部；若CPU1未檢測到標志位C但檢測到因超時而觸發的中斷，則CPU1通過片上以太網控制器將錯誤信息輸出至外部。有益效果:本專利技術將不同根據融合算法4個步驟的特點，將這4個步驟分布在軟核和用戶IP核中實現，提高融合系統的片上集成度，而且可以提高多源圖像融合處理速度。具體來說:(I)本專利技術采用局部處理器+多分辨分解IP核的結構實現融合算法中的預處理和多路分辨分解。由于這兩個步驟需要多路同時處理，因此多分辨分解IP核采用用戶IP實現且通過NPI接口連接MPMC，保證多分辨分解IP核可以快速同步地從MPMC所連接的片外存儲介質中獲取待處理數據并快速處理，而局部處理器只是負責控制，因此通過統一的BUSl連入MPMC，從而節省了 MPMC的外部接口。(2)本專利技術采用軟核CPU負責完成融合算法中融合判決。每個軟核CPU負責一個層級的融合判決，這里沒有采用用戶IP核基于如下兩個原因:1、融合判決計算量不大，不需要采用采用用戶IP核，可以采用速度相對較弱的通用軟核CPU ;2、更重要的是，這些軟核CPU是檢測到各自的標志位才執行動作，因此是順序執行的，可以交替占用總線，因此不需采用專門的用戶IP并行處理。采用CPU通過BUS連接MPMC可以節省了 MPMC的外部接口。(3)重構IP核負責完成融合算法中的疊代重構。由于疊代重構需要計算量比較大，而且是本文檔來自技高網...
【技術保護點】
一種基于多處理器片上系統的多源圖像融合裝置，其特征在于，該裝置采用FPGA實現，該FPGA包括：局部處理器CPU_A1～CPU_An、重構IP核、本地存儲器、多分辨分解IP核IP_A1～IP_An、片上計時器、片上以太網控制器、多端口存儲控制器MPMC、總線BUS0、總線BUS1、融合判決處理器CPU1～CPUm和中斷控制器；所述局部處理器和融合判決處理器為FPGA的CPU軟核；重構IP核和多分辨分解IP核為根據多源圖像融合算法設計的用戶IP核，是使用片內邏輯資源設計的自定義硬件邏輯模塊；每個局部處理器和每個融合判決處理器均連接一個本地存儲器，CPU_A1～CPU_An、重構IP核、片上計時器、片上以太網控制器和中斷控制器均接入總線BUS0；局部處理器CPU_A1～CPU_An一對一地對應連接多分辨分解IP核IP_A1～IP_An，局部處理器CPU_A1～CPU_An均接入總線BUS1；IP_A1～IP_An以及重構IP核均通過多端口存儲控制器本地端口接口MPCM?NPI接口接入MPMC，MPMC同時接入BUS0和BUS1；片上以太網控制器，負責通過連接的外部以太網接口完成源數據輸入和處理結果的輸出；MPMC，用于連接片外存儲介質，采用片外存儲介質存儲待處理源數據以及融合處理中間量；CPU_A1～CPU_An，用于負責調用多分辨分解IP核IP_A1～IP_An，及多分辨分解IP核與MPMC的數據吞吐交互控制，CPU_A及IP_A的個數n為源圖像數；IP_A1～IP_An，用于并行執行多路源圖像局部預處理及多分辨分解；每完成一級分解在MPMC連接的片外存儲介質中存儲相應層級的完成標志位；CPU1～CPUm，每個CPU負責一個層級的圖像序列融合判決，在檢測到對應層級的完成標志位時執行本層級的圖像序列融合判決；同時CPU1還負責源數據傳輸控制，CPUm還負責疊代重構控制；m為多分辨分解級數；重構IP核，為所有融合判決處理器所共享，在CPUm的控制下，負責多分辨圖像序列疊代重構；片上計時器，用于完成重構IP核疊代的定時；中斷控制器，負責響應片上定時器中斷；本地存儲器，負責存放與其連接處理器的指令及本地數據。...
【技術特征摘要】
1.一種基于多處理器片上系統的多源圖像融合裝置，其特征在于，該裝置采用FPGA實現，該FPGA包括:局部處理器CPLA1 CPU_An、重構IP核、本地存儲器、多分辨分解IP核IP_Ai IP_An、片上計時器、片上以太網控制器、多端口存儲控制器MPMC、總線BUSO、總線BUS1、融合判決處理器CPU1 CPUm和中斷控制器；所述局部處理器和融合判決處理器為FPGA的CPU軟核；重構IP核和多分辨分解IP核為根據多源圖像融合算法設計的用戶IP核，是使用片內邏輯資源設計的自定義硬件邏輯模塊； 每個局部處理器和每個融合判決處理器均連接一個本地存儲器，CPU_Ai CPU_An、重構IP核、片上計時器、片上以太網控制器和中斷控制器均接入總線BUSO ;局部處理器CPU_A1 CPU_An —對一地對應連接多分辨分解IP核IP-A1 IP_An，局部處理器CPU-A1 CPU_An均接入總線BUSl ;IP_Ai IP_An以及重構IP核均通過多端口存儲控制器本地端口接口MPCM NPI 接口接入 MPMC，MPMC 同時接入 BUSO 和 BUSl ； 片上以太網控制器，負責通過連接的外部以太網接口完成源數據輸入和處理結果的輸出； MPMC，用于連接片外存儲介質，采用片外存儲介質存儲待處理源數據以及融合處理中間量; CPLA1 CPU_An，用于負責調用多分辨分解IP核IP_Ai IP_An，及多分辨分解IP核與MPMC的數據吞吐交互控制，CPU_A及IP_A的個數η為源圖像數； ΙΡ_4 IP_An，用于并行執行多路源圖像局部預處理及多分辨分解；每完成一級分解在MPMC連接的片外存儲介質中存儲相應層級的完成標志位； CPU1 CPU111,每個CPU負責一個層級的圖像序列融合判決，在檢測到對應層級的完成標志位時執行本層級的圖像序列融合判決；同時CPU1還負責源數據傳輸控制，CPUm還負責疊代重構控制為多分辨分解級數； 重構IP核，為所有融合判決處理器所共享，在CPUm的控制下，負責多分辨圖像序列疊代重構； 片上計時器，用于完成重...
【專利技術屬性】
技術研發人員：陳禾，馬龍，章學靜，章菲菲，曾濤，龍騰，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。