基于深度強化學習的安卓惡意軟件檢測特征提取方法技術

本發明專利技術公開了一種基于深度強化學習的安卓惡意軟件檢測特征提取方法，涉及軟件與信息系統安全技術領域，包括樣本獲取步驟、深度強化學習模型構建步驟以及模型訓練步驟，用于在使用機器學習方法檢測安卓惡意軟件時對輸入特征進行降維，利用Double Deep Q

【技術實現步驟摘要】
基于深度強化學習的安卓惡意軟件檢測特征提取方法


[0001]本專利技術涉及軟件與信息系統安全
，確切地說涉及一種基于深度強化學習的安卓惡意軟件檢測特征提取方法。

技術介紹

[0002]隨著新一代網絡信息技術的不斷發展，越來越多的人開始使用互聯網，互聯網開始影響著生活的方方面面，然而，互聯網的發展也加速了惡意軟件的傳播，惡意軟件是指實現了攻擊者惡意目的的軟件，經常通過互聯網傳播，是存在損害用戶利益的行為是判定軟件是否為惡意軟件的依據。
[0003]而隨智能手機的不斷發展，越來越多的人選擇使用智能手機，搭載安卓系統的智能手機始終占據了市場的很大份額，安卓系統的惡意軟件能夠求取用戶隱私信息、獲取用戶利益、遠程控制達到非法個人目的。自2013年以來，安卓操作系統一直占據著移動操作系統市場的統治地位，這個平臺的開源性和開放性是的安卓平臺成為惡意軟件攻擊的熱門目標。根據Trend Force最新發布數據，2020年智能手機的總產量為12.5億部，Android占據了78.4％的市場份額。然而，由于廣泛分布和開源特性，除了官方Android Market之外，Android應用程序還可以從未知、不受信任和潛在惡意的第三方下載和安裝，這使得該平臺成為惡意軟件攻擊的目標。根據360安全于2020年2月28日發布的2019年Android惡意軟件專項報告顯示，2019年該平臺在移動端攔截新惡意軟件樣本約180.9萬個，平均每天攔截約5000個新移動惡意軟件樣本，因此，對于惡意安卓軟件的分析研究刻不容緩。
[0004]現有技術中，機器學習等人工智能方法在惡意安卓軟件檢測中的應用，解決了傳統基于簽名的檢測技術不能識別未知惡意軟件的缺點，減小了惡意軟件簽名庫的更新和維護成本，但安卓系統反編譯后提取的靜態特征數量龐大，機器學習分類器訓練和檢測時計算開銷大、效率和準確率低下。因此，在將特征集合輸入機器學習分類器前，需要利用有效的最優特征子集選擇方法進行數據降維，以提高惡意安卓軟件檢測的效率。
[0005]在安卓最優特征子集選擇中，根據選擇指標是否獨立于分類器的準確度，特征算法可以分為包裝類(Wrapper
?
based)、過濾類(Filter
?
based)兩種方法。對于基于過濾類的特征提取方法(如Information Gain，Relief F等)，選擇指標與分類器的準確率結果無關，而在基于包裝類的算法中(如FFSR，Wrapper Subset Eval等)，直接使用分類器的精度來評估生成的特征子集并改善選擇方法。但是，基于包裝類的特征提取方法計算開銷大，在數據集龐大時效率低下，但基于過濾類的特征提取方法忽略了分類器反饋的不同特征之間的相關性，從而在處理高維特征向量時可能選擇出大量冗余特征。
[0006]為了在惡意安卓軟件檢測效率上取得突破，需要有一種新方法利用包裝類特征提取方法通過分類器準確率反饋來改善選擇方式的特點，同時解決該特征提取方法存在的難以探索有效特征子集組合的問題。

技術實現思路

[0007]本專利技術目的在于針對上述問題，提供一種基于強化學習的特征提取方法、通過除去冗余和無關特征實現數據降維，從而降低機器學習檢測器的計算開銷、提高惡意安卓軟件檢測效率的安卓惡意軟件檢測特征提取方法。
[0008]本專利技術提供的這一種基于深度強化學習的安卓惡意軟件檢測特征提取方法，包括樣本獲取步驟、深度強化學習模型構建步驟以及模型訓練步驟；
[0009]所述樣本獲取步驟，從Android平臺的Androzoo以及Drebin數據集中獲取若干不同的良性和惡意的APK樣本，并通過所述APK樣本進行對特征提取和特征向量化處理得到樣本集合；
[0010]進一步的，所述樣本獲取步驟中，獲取APK樣本后還需對其進行數據清洗，具體的，是通過Androguard工具對所述APK樣本進行解析，同時通過APK Tool工具對所述APK樣本進行反匯編，刪除解析失敗和反匯編失敗的樣本。
[0011]優選地，所述樣本獲取步驟中，所述特征提取，是通過Android Manifest.xml文件提取出經過數據清洗后的APK樣本的457個重要權限特征和126個意圖特征，同時根據反匯編生成的smail格式文件語法特征，將APK樣本中Method字段基本塊所包含的Dalvik字節碼指令按照設定的轉換規則進行轉換，然后使用N
?
gram技術獲取樣本的N
?
gram特征集合，含500個N
?
gram特征。原始特征集合共1083個特征。
[0012]更為具體的，所述樣本獲取步驟中，特征向量化處理，是將所述APK樣本采用二進制特征向量進行表示，向量中“1”表示權限特征、意圖特征或N
?
gram特征在APK文件中存在，“0”則表示APK文件中不存在權限特征、意圖特征和/或N
?
gram特征。
[0013]所述深度強化學習模型構建步驟，選擇Double Deep Q
?
Learning算法作為深度強化學習模型，選定基于機器學習算法的、用于檢測惡意安卓軟件的分類器模型，并定義所述深度強化學習模型的學習動作空間與狀態空間，設定獎勵機制，并初始化所述深度強化學習模型以及其決策網絡的超參數；
[0014]優選地，所述Double Deep Q
?
Learning算法包含兩個結構一致、激活函數均使用ReLU激活函數的前饋深度Q網絡，分別為當前主網絡和目標網絡，其中，當前主網絡用于訓練學習、目標網絡用于輸出選擇動作的Q值引導智能體做出決策。
[0015]進一步的，所述強化學習模型構建步驟中，定義所述深度強化學習模型的學習動作空間與狀態空間，深度強化學習模型的行動主要是從安卓原始特征集中選擇一個新的特征加入到自身的狀態中，具體的：
[0016]設定在探索模式下，所述深度強化學習模型智能體從樣本集合中隨機選擇一個尚未被選擇的特征加入到自身的狀態中；
[0017]設定在利用模式下，所述深度強化學習模型智能體的選擇由決策網絡引導執行，決策網絡結合先驗閾值經驗和深度強化學習模型的當前狀態，從樣本集合中選擇一個尚未被選擇過的、最優的特征加入到自身的狀態中；
[0018]且設定深度強化學習模型每次選擇有ε的概率處于探索模式下，有1
?
ε的概率處于利用模式，其中式中，n是當前訓練的輪次，M是設定的總訓練輪次，p是一個設定的需要調整的上限。
[0019]更為優選地，在本技術方案中，所述深度強化學習模型的決策網絡為長短期記憶網絡，決策網絡的輸入是深度強化學習模型的狀態，輸出是一個用于表示每個特征置信度的向量。
[0020]更為具體的，在本技術方案中，所述深度強化學習模型的決策網絡有兩個，一個為當前主網絡，另一個為目標網絡，在經過設定的訓練輪次后，當前主網絡的參數值將被同步到目標網絡中。
[0021]且在所述強化學習模型構建步本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于深度強化學習的安卓惡意軟件檢測特征提取方法，其特征在于：包括樣本獲取步驟、深度強化學習模型構建步驟以及模型訓練步驟；樣本獲取步驟，從Android平臺的Androzoo以及Drebin數據集中獲取若干不同的良性和惡意的APK樣本，并通過所述APK樣本進行對特征提取和特征向量化處理得到樣本集合；深度強化學習模型構建步驟，選擇Double Deep Q
?
Learning算法作為深度強化學習模型，選定基于機器學習算法的、用于檢測惡意安卓軟件的分類器模型，并定義所述深度強化學習模型的學習動作空間與狀態空間，設定獎勵機制，并初始化所述深度強化學習模型以及其決策網絡的超參數；模型訓練步驟，啟動所述深度強化學習模型進行學習訓練，訓練過程中損失深度強化學習模型按照設定數量從其經驗回放池中選取學習經驗更新其決策網絡，當深度強化學習模型觀測到在探索模式下和利用模式下選擇的特征達到設定數量后結束當前輪次的訓練，然后根據設定的訓練輪次循環對深度強化學習模型進行學習訓練，完成全部輪次的訓練后，將識別準確率最高的特征子集作為最終選取的最優特征子集。2.如權利要求1所述的基于深度強化學習的安卓惡意軟件檢測特征提取方法，其特征在于：所述樣本獲取步驟中，獲取APK樣本后還需對其進行數據清洗，具體的，是通過Androguard工具對所述APK樣本進行解析，同時通過APKTool工具對所述APK樣本進行反匯編，刪除解析失敗和反匯編失敗的樣本。3.如權利要求2所述的基于深度強化學習的安卓惡意軟件檢測特征提取方法，其特征在于：所述樣本獲取步驟中，所述特征提取，是通過AndroidManifest.xml文件提取出經過數據清洗后的APK樣本的457個重要權限特征和126個意圖特征，同時根據反匯編生成的smail格式文件語法特征，將APK樣本中Method字段基本塊所包含的Dalvik字節碼指令按照設定的轉換規則進行轉換，然后使用N
?
gram技術獲取樣本的N
?
gram特征集合，含500個N
?
gram特征。原始特征集合共1083個特征。4.如權利要求3所述的基于深度強化學習的安卓惡意軟件檢測特征提取方法，其特征在于：所述樣本獲取步驟中，特征向量化處理，是將所述APK樣本采用二進制特征向量進行表示，向量中“1”表示權限特征、意圖特征或N
?
gram特征在APK文件中存在，“0”則表示APK文件中不存在權限特征、意圖特征和/或N
?
gram特征。5.如權利要求1所述的基于深度強化學習的安...

【專利技術屬性】
技術研發人員：方智陽，李美瑾，曾琪，楊濤，伍胤瑋，程露玉，
申請(專利權)人：四川大學，
類型：發明
國別省市：