【技術(shù)實現(xiàn)步驟摘要】
本申請涉及信號識別，尤其涉及一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法和裝置。
技術(shù)介紹
1、物聯(lián)網(wǎng)和5g的發(fā)展為無線連接世界帶來了巨大的潛力，當(dāng)今許多無線安全方面都來源于軟件和固件密鑰的加密，這些方面很容易遭到攻擊、物理欺騙或冒充。每個單獨的設(shè)備都有固有的硬件密鑰，以獨特的射頻指紋形式存在，射頻指紋由前端硬件實現(xiàn)的細微變化而賦予傳輸信號特定于設(shè)備的差異。基于射頻指紋識別的物理層安全技術(shù)可以有效解決無線設(shè)備的安全接入問題，其挑戰(zhàn)在于確保每個設(shè)備指紋不會隨著時間的推移而降低識別模型的性能。
2、在射頻指紋信號識別中，目前有基于信號參數(shù)，通過提取多種信號參數(shù)特征組成多維特征數(shù)組或通過提取不同特征，構(gòu)建不同的深度神經(jīng)網(wǎng)絡(luò)模型，在結(jié)合模型訓(xùn)練實現(xiàn)設(shè)備的射頻指紋目標(biāo)識別的方式，但是上述方式都沒有解決設(shè)備射頻指紋分布動態(tài)漂移的問題。
3、因此，現(xiàn)有技術(shù)亟需改進。
技術(shù)實現(xiàn)思路
1、鑒于上述現(xiàn)有技術(shù)的不足之處，本申請?zhí)峁┝艘环N構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法和裝置，應(yīng)用于信號識別
，通過射頻前端天線與信號處理，信號濾波與轉(zhuǎn)換以及功率檢測得到處理后的通信信號，并根據(jù)處理后的通信信號建立樣本庫獲取模態(tài)特征數(shù)組，根據(jù)模態(tài)特征數(shù)組構(gòu)建模態(tài)值對應(yīng)的深度強化學(xué)習(xí)模型，并對該深度強化學(xué)習(xí)模型進行訓(xùn)練，使其能夠解決射頻指紋識別中時間動態(tài)的問題，確保每個設(shè)備指紋不會隨著時間的推移而降低識別模型的性能。
2、第一方面，本申請?zhí)峁┮环N構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方
3、s1：采集指定頻段的第一通信信號并通過低噪放大器增強輸入的所述第一通信信號的功率以及抑制噪聲功率，得到處理后的第二通信信號；
4、s2：對所述第二通信信號進行濾波轉(zhuǎn)換以及功率檢測操作，得到處理后的第三通信信號；
5、s3：根據(jù)所述第三通信信號建立信號樣本庫，截取所述信號樣本庫中信號同步頭射頻指紋段，得到樣本集；
6、s4：迭代設(shè)置模態(tài)值，并基于所述樣本集生成模態(tài)特征數(shù)組，構(gòu)建所述模態(tài)值對應(yīng)的深度強化學(xué)習(xí)模型，并訓(xùn)練所述深度強化學(xué)習(xí)模型，直到得到最大準(zhǔn)確率，退出迭代。
7、本申請?zhí)峁┑囊环N構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，通過采集指定頻段的第一通信信號并通過低噪放大器增強輸入的所述第一通信信號的功率以及抑制噪聲功率，得到處理后的第二通信信號，使采集到的指定頻段的第一通信信號能夠經(jīng)過增強、除噪處理得到優(yōu)質(zhì)的第二通信信號，再將第二通信信號經(jīng)過濾波處理以及對應(yīng)的峰值功率檢測，得到感興趣的第三通信信號；根據(jù)第三通信信號建立信號樣本庫，截取所述信號樣本庫中信號同步頭射頻指紋段，得到樣本集，用于對截取到的信號樣本庫中信號同步頭射頻指紋段進行標(biāo)注和歸類；迭代設(shè)置模態(tài)值，并基于所述樣本集生成模態(tài)特征數(shù)組，構(gòu)建模態(tài)值對應(yīng)的深度強化學(xué)習(xí)模型并訓(xùn)練所述深度強化學(xué)習(xí)模型，直到得到最大準(zhǔn)確率，退出迭代，深度強化學(xué)習(xí)的學(xué)習(xí)過程是一個隨時間變化，狀態(tài)和反饋也在不停變化的過程，能夠?qū)W習(xí)指導(dǎo)該深度強化學(xué)習(xí)模型進行修改完成射頻指紋的識別，確保射頻指紋識別的準(zhǔn)確率不會隨時間的動態(tài)變化而降低，有效解決設(shè)備射頻指紋分布動態(tài)漂移的問題。
8、進一步的，步驟s4包括：
9、s41:迭代設(shè)置模態(tài)值，并基于樣本集生成模態(tài)特征數(shù)組，包括步驟：
10、s411：對所述樣本集進行小波分解變換得到特征組合信息；
11、s412：對所述特征組合信息進行傅里葉變換，得到時頻的實部數(shù)組和時頻信號的虛部數(shù)組；
12、s413：根據(jù)模態(tài)值，從所述實部數(shù)組和所述虛部數(shù)組中選取特征數(shù)據(jù)，堆疊得到k×n×2形式的三維多通道數(shù)組，其中k表示當(dāng)前模態(tài)值，n表示樣本集中射頻指紋段的信號長度，2表示實部和虛部；
13、s414：將三維多通道數(shù)組拆分為所述模態(tài)值通道下的實虛雙通道形式的數(shù)組，作為所述模態(tài)特征數(shù)組；
14、s42：構(gòu)建所述模態(tài)值對應(yīng)的深度強化學(xué)習(xí)模型；
15、s43：訓(xùn)練所述深度強化學(xué)習(xí)模型，直到得到最大準(zhǔn)確率，退出迭代。
16、本申請?zhí)峁┑囊环N構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，輸入到深度強化學(xué)習(xí)模型的模態(tài)特征數(shù)組是通過對樣本集中射頻指紋段的信號進行小波分解變換以及傅里葉變換的聯(lián)合變換后，根據(jù)設(shè)置的模態(tài)值而選取的特征數(shù)據(jù)，考慮到信號點多，數(shù)據(jù)簡單，為了避免骨干網(wǎng)絡(luò)模型過擬合，采用非降采樣小波分解變換，通過采用非降采樣小波分解變換，可以豐富細節(jié)信息，便于深度強化學(xué)習(xí)模型學(xué)習(xí)。
17、進一步的，步驟s42包括：
18、s421：建立射頻指紋識別的分類任務(wù)的強化學(xué)習(xí)環(huán)境，所述強化學(xué)習(xí)環(huán)境初始值包括訓(xùn)練樣本、標(biāo)簽、采樣索引、動作空間和模型，訓(xùn)練樣本為20類ads-b信號的同步頭信號，標(biāo)簽為每個樣本對的獨熱編碼值，動作空間的大小為11200，模型為采用actor-critic架構(gòu)的所述深度強化學(xué)習(xí)模型；
19、s422：建立經(jīng)驗池，預(yù)設(shè)經(jīng)驗池大小為1024，存入從所述強化學(xué)習(xí)環(huán)境中采集的狀態(tài)動作值(st,at,rt,st+1,at+1)，其中st表示當(dāng)前同步頭信號特征的狀態(tài)值，at表示當(dāng)前模型所識別的類別值，rt表示當(dāng)前模擬得到的獎勵，st+1表示模擬進入下一個狀態(tài)值的同步頭信號特征，at+1表示模擬中采取下一步行動的類別值；
20、s423：構(gòu)建actor-critic架構(gòu)，所述actor-critic架構(gòu)包括兩個相同架構(gòu)的殘差網(wǎng)絡(luò)模型，其中一個所述殘差網(wǎng)絡(luò)模型包括負責(zé)動作策略的actor模型，另一個所述殘差網(wǎng)絡(luò)模型包括負責(zé)計算估計的critic模型；其中，所述殘差網(wǎng)絡(luò)模型包含至少3個殘差塊，至少2層全連接層和一個q值計算層，所述殘差塊第一個卷積核的輸入通道值與所述模態(tài)值一致。
21、本申請?zhí)峁┑囊环N構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，通過建立射頻指紋識別的分類任務(wù)的強化學(xué)習(xí)環(huán)境，可以返回訓(xùn)練樣本中的一個隨機樣本和零獎勵值，agent(代理程序)使用時間步函數(shù)在環(huán)境中執(zhí)行動作，輸入同步頭樣本的預(yù)測；若預(yù)測正確，環(huán)境則對執(zhí)行動作進行獎勵，并提供下一個同步頭樣本給agent，若預(yù)測錯誤，環(huán)境則對執(zhí)行動作進行懲罰，而后構(gòu)建actor-critic架構(gòu)，由于在單個殘差網(wǎng)絡(luò)模型上迭代，會造成過優(yōu)化的現(xiàn)象；因此，通過引入兩個相同架構(gòu)的殘差網(wǎng)絡(luò)模型，一個殘差網(wǎng)絡(luò)模型負責(zé)動作策略，即actor模型，另一個殘差網(wǎng)絡(luò)模型負責(zé)計算估計，即critic模型，進而可得到深度強化學(xué)習(xí)模型。
22、進一步的，步驟s423包括：
23、s4231：所述actor模型根據(jù)自身的權(quán)重計算q值，并根據(jù)等式π＝argmaxaq(s,a)從ε-greedy中來選擇對這個狀態(tài)s執(zhí)行的動作a，argmaxaq(s,a)表示選取q值中類別所對應(yīng)的最大得分值，ε-greedy表示以ε的概率控制探索和利用的比例；
24、s4232：所述critic模型通過觀察本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，所述方法包括步驟：
2.根據(jù)權(quán)利要求1所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟S4包括：
3.根據(jù)權(quán)利要求2所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟S42包括：
4.根據(jù)權(quán)利要求3所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟S423包括：
5.根據(jù)權(quán)利要求4所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟S423還包括：S4234：構(gòu)建所述殘差網(wǎng)絡(luò)模型；
6.根據(jù)權(quán)利要求5所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟S43包括：
7.一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的裝置，其特征在于，所述裝置包括：
8.根據(jù)權(quán)利要求7所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的裝置，其特征在于，所述深度強化學(xué)習(xí)模型構(gòu)建及訓(xùn)練模塊包括：
9.根據(jù)權(quán)利要求8所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的裝置，其特征在于，所述深度強化
10.根據(jù)權(quán)利要求9所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的裝置，其特征在于，所述第三構(gòu)建模塊包括：
...【技術(shù)特征摘要】
1.一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，所述方法包括步驟：
2.根據(jù)權(quán)利要求1所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟s4包括：
3.根據(jù)權(quán)利要求2所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟s42包括：
4.根據(jù)權(quán)利要求3所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟s423包括：
5.根據(jù)權(quán)利要求4所述的一種構(gòu)建深度強化學(xué)習(xí)射頻指紋識別模型的方法，其特征在于，步驟s423還包括：s4234：構(gòu)建所述殘差網(wǎng)絡(luò)模型；
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李勝軍，王正偉，王沫然，魏新，蔣洪福，
申請(專利權(quán))人：重慶九洲星熠導(dǎo)航設(shè)備有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。