一種安全數據分析系統技術方案

本申請實施例提供了一種安全數據分析系統，包括：Flume日志數據收集模塊，用于獲取日志數據，對日志數據進行預處理；Kafka日志數據分發集群，用于匹配Flume日志數據收集模塊與Storm日志數據分析集群之間的數據處理速度；Storm日志數據分析集群，用于對日志數據進行安全分析處理；Elasticsearch數據存儲與使用集群，用于存儲經安全分析處理之后得到的安全分析數據，以及提供對安全分析數據的查詢功能。本申請實施例提供一種適用于云端的安全數據分析系統，使安全數據分析能在云端實現，不需要侵入目標系統，只需接收目標系統投遞的日志數據并對數據進行分析，安全分析之后的數據，在云端供用戶查詢，使得企業能夠方便地對大規模的日志數據進行安全分析。

【技術實現步驟摘要】

本申請涉及數據安全
，特別是涉及一種安全數據分析系統。
技術介紹
企業定期收集TB(Terabyte，太字節)級的信息安全數據(如，網絡事件、軟件應用程序事件，以及人員活動事件)，用來作合規性、事后取證分析、預警等企業事務操作。隨著企業啟用的事件記錄源越來越多，雇用的員工越來越多，部署的設備越來越多，運行的軟件越來越多，信息安全數據還會繼續增長。在現有的信息安全分析處理中，通常使用特定分析軟件，或安全分析人員自己編寫的臨時的，零散的處理腳本進行分析處理。但是目前的分析軟件使用自身提供的存儲載體來存儲數據，造成數據孤島問題，如ossec(一個開源的多平臺的入侵檢測系統)的數據默認只能存mysql(一個關系型數據庫管理系統)；而安全分析人員自己編寫的臨時/零散的處理腳本，往往無法應對大規模數據，產生誤報，預警延遲等問題，甚至是根本無法處理完這些數據，因此安全功效得不到保證。隨著企業向云架構遷移，并且收集的數據越來越多，所以適時需要一種新的安全數據分析的裝置來解決這樣的問題。
技術實現思路
鑒于上述問題，提出了本申請實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種安全數據分析系統。為了解決上述問題，本申請實施例公開了一種安全數據分析系統，包括：Flume日志數據收集模塊，用于獲取日志數據，對所述日志數據進行預處理，以及將經過初步處理的日志數據發送到Kafka日志數據分發集群；Kafka日志數據分發集群，用于接收所述Flume日志數據收集模塊發送的日志數據，將所述日志數據發送至Storm日志數據分析集群，以及匹配所述Flume日志數據收集模塊與所述Storm日志數據分析集群之間的數據處理速度；Storm日志數據分析集群，用于接收所述Kafka日志數據分發集群發送的日志數據，對所述日志數據進行安全分析處理，以及將經安全分析處理之后得到的安全分析數據發送至Elasticsearch數據存儲與使用集群；Elasticsearch數據存儲與使用集群，用于存儲所述經安全分析處理之后得到的安全分析數據，以及提供對所述安全分析數據的查詢功能。優選的，所述Flume日志數據收集模塊包括：Source日志獲取子模塊，用于獲取日志數據；Sink輸出子模塊，用于輸出日志數據；多個Channel解耦子模塊，用于匹配所述Source日志獲取子模塊的日志數據獲取速度與所述Sink輸出子模塊的日志數據輸出速度。優選的，所述日志數據包括：Ossec日志數據、Syslog日志數據；所述Flume日志數據收集模塊包括：Ossec日志數據預處理子模塊，用于對Ossec日志數據中進行合并處理；Syslog日志數據預處理子模塊，用于對Syslog日志數據進行分類，將分類后的數據分發到不同的Channel解耦子模塊中。優選的，所述Flume日志數據收集模塊還進一步包括：通道監控子模塊，用于監控所述多個Channel解耦子模塊是否堵塞，當某一Channel解耦子模塊堵塞時調整所述Source日志獲取子模塊向堵塞的Channel解耦子模塊寫入日志數據的速度。優選的，所述Kafka日志數據分發集群包括：多個Topic主題模塊，用于分發不同分類的日志數據；所述Topic主題模塊進一步包括：多個Partition分區子模塊，用于對日志數據進行數據冗余，提升后續處理數據的并發數。優選的，所述Flume日志數據收集模塊進一步包括：Kafka轉發子模塊，用于將日志數據輸出到指定的Topic主題模塊中指定的Partition分區子模塊。優選的，所述Storm日志數據分析集群包括：多個Topology分析模塊，用于對不同分類的日志數據進行分析處理；所述Topology分析模塊進一步包括：Spout數據獲取子模塊，用于獲取日志數據；一個或多個Bolt邏輯子模塊，用于對日志數據進行邏輯分析。優選的，所述Spout數據獲取子模塊以及Bolt邏輯子模塊由多個Executors邏輯執行單元組成；所述Storm日志數據分析集群還進一步包括：Executors配比監控模塊，用于監控同一個Topology分析模塊中，Spout數據獲取子模塊的Executors邏輯執行單元與Bolt邏輯子模塊的Executors邏輯執行單元之間的數量配比是否合適；記錄調用模塊，用于在當前數量配比合適時，記錄當前Executors邏輯執行單元的數量配比，在重啟Topology分析模塊時，直接使用記錄的Executors邏輯執行單元的數量配比；Executors配比調整模塊，用于在當前Executors邏輯執行單元數量配比不合適時，調整Executors邏輯執行單元的數量配比。優選的，所述Storm日志數據分析集群還進一步包括：節點監控模塊，用于監控storm的關鍵進程，當關鍵進程異常時通知管理員進行人為檢查；所述關鍵進程包括：nimbus任務分配進程，以及supervisor監聽進程。優選的，所述Elasticsearch數據存儲與使用集群包括：節點監控模塊，用于監控用于接收Topology分析模塊傳送的數據的節點接口，當某一節點接口的進程消失時，重啟該節點接口。優選的，所述Elasticsearch數據存儲與使用集群包括：展現模塊，用于展現經安全分析處理之后得到的安全分析數據。本申請實施例包括以下優點：本申請實施例通過Flume日志數據收集模塊、Kafka日志數據分發集群、Storm日志數據分析集群以及Elasticsearch數據存儲與使用集群構建了一種適用于云端的安全數據分析系統，使安全數據分析能在云端實現，不需要侵入目標系統，只需接收目標系統投遞的日志數據并對數據進行分析，安全分析之后的數據，在云端供用戶查詢，使得企業能夠方便地對大規模的日志數據進行安全分析。本申請實施例在Flume日志數據收集模塊、Kafka日志數據分發集群、Storm日志數據分析集群以及Elasticsearch數據存儲與使用集群都設置有監控層，監控模塊或集群內部的處理進程。附圖說明圖1是本申請的一種安全數據分析系統實施例的結構框圖；圖2是本申請實施例中Flume日志數據收集模塊的結構框圖；圖3是本申請實施例中Kafka日志數據分發集群的結構框圖；圖4是本申請實施例中Storm日志數據分析集群的結構框圖；圖5是本申請一種安全數據分析系統實施例本文檔來自技高網...

【技術保護點】
一種安全數據分析系統，其特征在于，包括：Flume日志數據收集模塊，用于獲取日志數據，對所述日志數據進行預處理，以及將經過初步處理的日志數據發送到Kafka日志數據分發集群；Kafka日志數據分發集群，用于接收所述Flume日志數據收集模塊發送的日志數據，將所述日志數據發送至Storm日志數據分析集群，以及匹配所述Flume日志數據收集模塊與所述Storm日志數據分析集群之間的數據處理速度；Storm日志數據分析集群，用于接收所述Kafka日志數據分發集群發送的日志數據，對所述日志數據進行安全分析處理，以及將經安全分析處理之后得到的安全分析數據發送至Elasticsearch數據存儲與使用集群；Elasticsearch數據存儲與使用集群，用于存儲所述經安全分析處理之后得到的安全分析數據，以及提供對所述安全分析數據的查詢功能。

【技術特征摘要】
1.一種安全數據分析系統，其特征在于，包括：
Flume日志數據收集模塊，用于獲取日志數據，對所述日志數據進行預
處理，以及將經過初步處理的日志數據發送到Kafka日志數據分發集群；
Kafka日志數據分發集群，用于接收所述Flume日志數據收集模塊發送
的日志數據，將所述日志數據發送至Storm日志數據分析集群，以及匹配所
述Flume日志數據收集模塊與所述Storm日志數據分析集群之間的數據處理
速度；
Storm日志數據分析集群，用于接收所述Kafka日志數據分發集群發送
的日志數據，對所述日志數據進行安全分析處理，以及將經安全分析處理之
后得到的安全分析數據發送至Elasticsearch數據存儲與使用集群；
Elasticsearch數據存儲與使用集群，用于存儲所述經安全分析處理之后
得到的安全分析數據，以及提供對所述安全分析數據的查詢功能。
2.根據權利要求1所述的系統，其特征在于，所述Flume日志數據收
集模塊包括：
Source日志獲取子模塊，用于獲取日志數據；
Sink輸出子模塊，用于輸出日志數據；
多個Channel解耦子模塊，用于匹配所述Source日志獲取子模塊的日
志數據獲取速度與所述Sink輸出子模塊的日志數據輸出速度。
3.根據權利要求2所述的系統，其特征在于，所述日志數據包括：
Ossec日志數據、Syslog日志數據；所述Flume日志數據收集模塊包括：
Ossec日志數據預處理子模塊，用于對Ossec日志數據中進行合并處
理；
Syslog日志數據預處理子模塊，用于對Syslog日志數據進行分類，
將分類后的數據分發到不同的Channel解耦子模塊中。
4.根據權利要求3所述的系統，其特征在于，所述Flume日志數據
收集模塊還進一步包括：
通道監控子模塊，用于監控所述多個Channel解耦子模塊是否堵塞，
當某一Channel解耦子模塊堵塞時調整所述Source日志獲取子模塊向堵

\t塞的Channel解耦子模塊寫入日志數據的速度。
5.根據權利要求1或2或3或4所述的系統，其特征在于，所述Kafka
日志數據分發集群包括：
多個Topic主題模塊，用于分發不同分類的日志數據；
所述Topic主題模塊進一步包括：
多個Partition分區子模塊，用...

【專利技術屬性】
技術研發人員：王穎慧，
申請(專利權)人：北京奇藝世紀科技有限公司，
類型：發明
國別省市：北京;11