一種告警誤報檢測方法、裝置、設備及存儲介質制造方法及圖紙

本申請公開了一種告警誤報檢測方法、裝置、設備及存儲介質，涉及機器學習技術領域，包括：利用基于當前感興趣的特征維度確定的樣本選取規則對歷史告警日志進行處理；利用處理后得到的初始訓練樣本集對誤報檢測模型進行訓練，并通過訓練后得到的當前待優化訓練模型對實時告警日志進行檢測；根據當前日志檢測結果對初始訓練樣本集進行更新，并基于更新后訓練樣本集對當前待優化訓練模型進行模型訓練，然后進行人工模型優化操作以得到當前待優化訓練模型，重新跳轉至通過當前待優化訓練模型對實時告警日志進行檢測的步驟。本申請通過結合人工核查和機器學習對誤報檢測模型進行增量訓練以提升模型的泛化能力，進而實現降低誤報并提升運行效率的效果。并提升運行效率的效果。并提升運行效率的效果。

【技術實現步驟摘要】
一種告警誤報檢測方法、裝置、設備及存儲介質


[0001]本專利技術涉及機器學習
，特別涉及一種告警誤報檢測方法、裝置、設備及存儲介質。

技術介紹

[0002]在安全領域異常檢測場景下，由于大部分的檢測方式是采取閾值、專家規則等方法，經常會發現存在告警數量過多的問題，告警數量過多導致的結果就是，分析人員無從下手去手動核查，導致真正的告警會被淹沒在誤報當中，從而極大的影響了威脅的真正定位和浪費了大量的人力來做告警的分析。如果不解決告警數量過多的問題，那么就無法發現真正的威脅，同時也會造成物質資源(平臺系統等)和安全分析人力資源浪費，因此迫切需要解決安全告警數太多的問題。
[0003]當前的方法都是一個模型在自身基礎上的迭代，訓練集是固定的，輸出的是一個固定的模型，較為固定的采取一些規則的方式對告警進行聚合，以減少告警出現的次數，但也僅僅是單純的減少了告警的數量，由于實體較多，告警規則較多，那么依然會產生很多的告警，對于分析人員來說，還是無法逐一手動排查并核實每一個告警；另外，當前的方案并沒有從告警是否為誤報這個層面進行分析，無法正確的確定出誤報的告警導致無法真正的解決誤報過多的問題。

技術實現思路

[0004]有鑒于此，本專利技術的目的在于提供一種告警誤報檢測方法、裝置、設備及存儲介質，能夠通過結合人工核查和機器學習對誤報檢測模型進行增量訓練以提升模型的泛化能力，實現降低告警誤報的效果。其具體方案如下：
[0005]第一方面，本申請公開了一種告警誤報檢測方法，包括：
[0006]獲取預設告警系統產生的歷史告警日志，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述歷史告警日志進行處理以得到初始訓練樣本集；
[0007]利用所述初始訓練樣本集基于預設模型訓練規則對誤報檢測模型進行訓練以得到當前待優化訓練模型，并通過所述當前待優化訓練模型對所述預設告警系統中產生的實時告警日志進行檢測，得到相應的當前日志檢測結果；
[0008]根據所述當前日志檢測結果對所述初始訓練樣本集進行更新得到更新后訓練樣本集，并基于第一迭代更新周期和所述更新后訓練樣本集對所述當前待優化訓練模型進行模型訓練以得到第一優化后訓練模型；
[0009]基于第二迭代更新周期對所述第一優化后訓練模型進行人工模型優化操作以得到第二待優化訓練模型，并將所述第二待優化訓練模型作為當前待優化訓練模型，重新跳轉至所述通過所述當前待優化訓練模型對所述預設告警系統中產生的實時告警日志進行檢測的步驟。
[0010]可選的，所述獲取預設告警系統產生的歷史告警日志，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述歷史告警日志進行處理以得到初始訓練樣本集，包括：
[0011]獲取預設告警系統在第一預設時長期間產生的歷史告警日志，并根據預設提取參數提取所述歷史告警日志中相應參數的信息數據；
[0012]對所述歷史告警日志相應的所述信息數據進行匯總得到若干訓練樣本，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述訓練樣本進行處理以得到初始訓練樣本集。
[0013]可選的，所述利用所述初始訓練樣本集基于預設模型訓練規則對誤報檢測模型進行訓練以得到當前待優化訓練模型，包括：
[0014]基于預設樣本分配規則將所述初始訓練樣本集分為若干組訓練集和相應的測試集，并利用若干種預設訓練算法和所述若干組訓練集對誤報檢測模型進行第一輪模型訓練以得到若干種第一訓練模型；
[0015]利用所述若干種第一訓練模型對相應的測試集進行檢測得到相應的檢測結果，并選擇所述檢測結果滿足第一預設檢測條件的第一預設數量個第一訓練模型；
[0016]對所述第一訓練模型進行參數調優后利用所述若干組訓練集進行第二輪模型訓練以得到滿足第二預設檢測條件的所述當前待優化訓練模型和所述當前待優化訓練模型對應的優化模型參數。
[0017]可選的，所述根據所述當前日志檢測結果對所述初始訓練樣本集進行更新得到更新后訓練樣本集，包括：
[0018]獲取對第二預設時長期間的歷史告警日志檢測得到的所述當前日志檢測結果和相應的人工標記結果，并判斷所述當前日志檢測結果與相應的所述人工標記結果是否相同；所述第二預設時長是基于所述優化模型參數確定的；
[0019]若是，則隨機選取預設比例的所述歷史告警日志并添加至所述初始訓練樣本集中以得到所述更新后訓練樣本集；
[0020]若否，則基于所述人工標記結果將所述歷史告警日志全部添加至所述初始訓練樣本集中以得到所述更新后訓練樣本集。
[0021]可選的，所述根據所述當前日志檢測結果對所述初始訓練樣本集進行更新得到更新后訓練樣本集之前，還包括：
[0022]隨機從所述預設告警系統中產生的實時告警日志中選取第二預設數量個待標記告警日志；
[0023]通過人工核查判斷所述待標記告警日志相應的實際標簽類型是否為真實標簽類型，并對所述待標記告警日志進行相應的標記得到相應的所述人工標記結果；所述第二預設數量是基于所述當前待優化訓練模型的模型訓練階段確定的。
[0024]可選的，所述基于第一迭代更新周期和所述更新后訓練樣本集對所述當前待優化訓練模型進行模型訓練以得到第一優化后訓練模型之后，還包括：
[0025]判斷當前時刻是否為所述第二迭代更新周期的結束時刻；
[0026]若是，則執行所述人工模型優化操作；
[0027]若否，則將所述第一優化后訓練模型確定為下一迭代周期的當前待優化訓練模
型，將所述更新后訓練樣本集確定為下一迭代周期的初始訓練樣本集，并重新跳轉至所述通過所述當前待優化訓練模型對所述預設告警系統中產生的實時告警日志進行檢的步驟。
[0028]可選的，所述基于第二迭代更新周期對所述第一優化后訓練模型進行人工模型優化操作以得到第二待優化訓練模型，包括：
[0029]獲取所述第二迭代更新周期內得到的攜帶標簽類型的告警日志；
[0030]通過人工模型優化操作判斷是否需要新增特征維度，若是則對所述特征維度進行更新并基于更新后特征維度從所述告警日志中確定優化模型訓練集；
[0031]利用所述優化模型訓練集對當前相應的所述第一優化后訓練模型進行訓練以得到相應的第二待優化訓練模型。
[0032]第二方面，本申請公開了一種告警誤報檢測裝置，包括：
[0033]樣本集獲取模塊，用于獲取預設告警系統產生的歷史告警日志，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述歷史告警日志進行處理以得到初始訓練樣本集；
[0034]模型訓練模塊，用于利用所述初始訓練樣本集基于預設模型訓練規則對誤報檢測模型進行訓練以得到當前待優化訓練模型；
[0035]日志檢測模塊，用于通過所述當前待優化訓練模型對所述預設告警系統中產生的實時告警日志進行檢測，得到相應的當前日志檢測結果；
[0036]樣本集更新模塊，本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種告警誤報檢測方法，其特征在于，包括：獲取預設告警系統產生的歷史告警日志，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述歷史告警日志進行處理以得到初始訓練樣本集；利用所述初始訓練樣本集基于預設模型訓練規則對誤報檢測模型進行訓練以得到當前待優化訓練模型，并通過所述當前待優化訓練模型對所述預設告警系統中產生的實時告警日志進行檢測，得到相應的當前日志檢測結果；根據所述當前日志檢測結果對所述初始訓練樣本集進行更新得到更新后訓練樣本集，并基于第一迭代更新周期和所述更新后訓練樣本集對所述當前待優化訓練模型進行模型訓練以得到第一優化后訓練模型；基于第二迭代更新周期對所述第一優化后訓練模型進行人工模型優化操作以得到第二待優化訓練模型，并將所述第二待優化訓練模型作為當前待優化訓練模型，重新跳轉至所述通過所述當前待優化訓練模型對所述預設告警系統中產生的實時告警日志進行檢測的步驟。2.根據權利要求1所述的告警誤報檢測方法，其特征在于，所述獲取預設告警系統產生的歷史告警日志，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述歷史告警日志進行處理以得到初始訓練樣本集，包括：獲取預設告警系統在第一預設時長期間產生的歷史告警日志，并根據預設提取參數提取所述歷史告警日志中相應參數的信息數據；對所述歷史告警日志相應的所述信息數據進行匯總得到若干訓練樣本，并利用預設人工標記規則以及基于當前感興趣的特征維度確定的樣本選取規則對所述訓練樣本進行處理以得到初始訓練樣本集。3.根據權利要求1所述的告警誤報檢測方法，其特征在于，所述利用所述初始訓練樣本集基于預設模型訓練規則對誤報檢測模型進行訓練以得到當前待優化訓練模型，包括：基于預設樣本分配規則將所述初始訓練樣本集分為若干組訓練集和相應的測試集，并利用若干種預設訓練算法和所述若干組訓練集對誤報檢測模型進行第一輪模型訓練以得到若干種第一訓練模型；利用所述若干種第一訓練模型對相應的測試集進行檢測得到相應的檢測結果，并選擇所述檢測結果滿足第一預設檢測條件的第一預設數量個第一訓練模型；對所述第一訓練模型進行參數調優后利用所述若干組訓練集進行第二輪模型訓練以得到滿足第二預設檢測條件的所述當前待優化訓練模型和所述當前待優化訓練模型對應的優化模型參數。4.根據權利要求3所述的告警誤報檢測方法，其特征在于，所述根據所述當前日志檢測結果對所述初始訓練樣本集進行更新得到更新后訓練樣本集，包括：獲取對第二預設時長期間的歷史告警日志檢測得到的所述當前日志檢測結果和相應的人工標記結果，并判斷所述當前日志檢測結果與相應的所述人工標記結果是否相同；所述第二預設時長是基于所述優化模型參數確定的；若是，則隨機選取預設比例的所述歷史告警日志并添加至所述初始訓練樣本集中以得到所述更新后訓練樣本集；若否，則基于所述人工標記結果將所述歷史告警日志全部添加至所述初始訓練樣本集
中以得到所述更新后訓練樣本集。5.根據權利要求4所述的告警誤報檢測方法，其特征在...

【專利技術屬性】
技術研發人員：丁雄，何帥，
申請(專利權)人：杭州安恒信息技術股份有限公司，
類型：發明
國別省市：