一種基于并行分布式架構的復雜事件處理的方法技術

一種基于并行分布式架構的復雜事件處理的方法屬于網絡安全領域。本發明專利技術把關聯分析的查詢語句分解成由有狀態操作和無狀態操作組成的操作序列，按照每個子查詢至多有且僅包含一個有狀態查詢的原則把操作序列進行拆分，并且按照拆分的數目把集群等分成幾個子集群，然后把子查詢部署到相應的子集群。這樣部署到不同子群的不同子操作序列之間可以并行計算，部署到同一個子群的不同機器的同一個操作也可以并行計算。即不同查詢之間是并行的(查詢間并行)，相同查詢之間也是并行的(查詢內并行)；查詢內并行不僅包括不同操作之間是并行的，而且相同操作之內也是并行的。即每個操作都是并行，這樣即可解決查詢計算遇到的節點性能瓶頸問題。

【技術實現步驟摘要】
一種基于并行分布式架構的復雜事件處理的方法
本專利技術屬于網絡安全
，特別是一種網絡安全事件實時關聯分析引擎基于分布式并行架構的實現方法。
技術介紹
安全信息和事件管理系統技術為安全相關信息提供一個綜合的視角。安全信息和事件管理系統作為安全信息和事件的最終匯總，并對其進行實時分析，其所處的位置居于整個安全防御系統的核心中央。目前的安全信息和事件管理系統已經廣泛擴展了事件監控能力，包括主動安全事故監控管理，被動日志自動收集管理。當前的安全信息和事件管理系統的關聯分析引擎是一個集中式的解決方案，隨著接入安全信息和事件管理系統的日志源增加，其收集到的數據增長速度已經遠快于其關聯分析引擎的計算能力提升速度。目前安全信息和事件管理系統在面對收集數據的增加，主要采取三種思路：第一種思路是改進現有安全信息和事件管理系統關聯分析引擎的處理能力，比如采用復雜事件處理技術改進關聯分析引擎，該種方案可以暫時緩解關聯分析引擎計算能力不足的問題；第二種思路是對未來得及處理的安全信息和事件先緩存，以等待進一步的分析，該種方案的好處是安全信息和事件不會被遺漏；第三種思路是對安全信息和事件采取QoS(服務質量控制)策略，對定義認為無效的事件做丟棄處理，該種方案的好處是對安全信息和事件可做快速的響應。從安全的角度出發，以上三種思路都有缺陷：采取復雜事件處理技術，增強安全信息和事件管理系統關聯分析引擎的技術能力，相比以前，增加了一定的關聯分析計算能力的，但是這種增加無法趕上計算數據的增加速度，無法完全改善關聯分析引擎的計算能力；采取緩存技術，可保證安全信息和事件不會丟棄，保證分析的全面性，但是無法滿足安全發現的及時性，延后的分析結果對安全處置幾乎無太多用處；采取QoS策略，可保證安全信息和事件的即時關聯分析，并作出即時響應，但是丟棄的事件規則是人依據已有的知識制定的，可能會因此遺漏關鍵的安全事件，導致分析結果不完全。
技術實現思路
本專利技術是為了解決以上三種思路的困境，提出一種基于并行分布式架構的復雜事件處理方法，即結合復雜事件處理技術、分布式技術以及并行技術，以分布式并行的復雜事件處理引擎替代當前集中式的處理引擎，以徹底解決當前解決方案面臨的技術困境。本專利技術結合復雜事件處理技術的特點，把復雜事件處理技術對事件進行處理的操作分解成幾個元操作，并把元操作分為兩類：無狀態操作和有狀態操作。所謂無狀態操作，即對后面的事件的處理操作和前面的事件的處理操作無關聯。所謂有狀態操作，對后面事件的處理操作需要依據結合前面事件的處理操作進行處理操作，通過滑動窗口實現。劃分的無狀態操作包括：映射、轉換操作，過濾操作，聯合操作；有狀態操作包括：聚合操作，連接操作。本專利技術方法的流程如圖1所示。本專利技術方法的具體步驟如下：步驟1：獲取用于關聯分析的查詢語句；步驟2：把查詢語句按照上文定義的有狀態操作和無狀態操作分解成一串操作序列；步驟3：按照有狀態操作把操作序列(查詢語句)分解成子操作序列(子查詢語句)，即有多少個有狀態操作就劃分成多少個子操作序列。其中劃分的第一個子操作序列至少包括無狀態的操作，可以僅由無狀態的操作組成，且該子操作序列包含了第一個有狀態操作之前的所有無狀態操作。包含有狀態操作的子操作序列其第一個操作一定是有狀態操作，該子操作也包含下一個有狀態操作之前的所有無狀態操作。步驟4：依照步驟3查詢語句劃分成子查詢的數量，把集群按照該數目等分成相同數量的子群，把查詢語句按照步驟2劃分成的子操作序列分布式部署到劃分好的每個子群上，子群中的每個機器都部署相應的子操作。本專利技術結合復雜事件處理技術把關聯分析的查詢語句分解成由有狀態操作和無狀態操作組成的操作序列，按照每個子查詢至多有且僅包含一個有狀態查詢的原則把操作序列進行拆分，并且按照拆分的數目把集群等分成幾個子集群，然后把子查詢部署到相應的子集群。這樣部署到不同子群的不同子操作序列之間可以并行計算，部署到同一個子群的不同機器的同一個操作也可以并行計算。即不同查詢之間是并行的(查詢間并行)，相同查詢之間也是并行的(查詢內并行)；查詢內并行不僅包括不同操作之間是并行的(操作間并行)，而且相同操作之內也是并行的(操作內并行)。即每個操作都是并行，這樣即可解決查詢計算遇到的節點性能瓶頸問題。附圖說明圖1是本專利技術流程圖。圖2查詢語句分解圖3操作序列劃分圖4查詢部署具體實施方式下面結合流程圖，對優選實施例作詳細說明，應該強調的是，下述說明僅僅是示例性的，而不是為了限制本專利技術的范圍及其應用。首先結合事件流定義，對復雜事件流元操進行定義：映射操作Map，其定義如下：給定一個輸入事件流S，依照用戶定義一組有序的轉換表達式，例如對輸入的事件進行屬性轉換并輸出轉換結果事件。過濾操作Filter，其定義如下：Filter{(P1,O1),...,(Pm,Om),Om+1}(S)給定一個輸入事件流S，依照用戶預定義的一組有序的斷言集合{(P1,O1),...,(Pm,Om),Om+1}，每一個輸入的事件轉發到該事件適配的第一個斷言對應的輸出，即符合斷言Pm，則輸出到Om，如果全部斷言都不符合，則輸出到Om+1。聯合操作Union，其定義如下：Union(S1,...,Sm)該操作合并輸入流S1,...,Sm，并輸出一個合并的流，其中這些流模式相同。輸出流的模式和輸入流的模式相同。聚合操作Aggregate，其定義如下：給定一個事件輸入流S，在該輸入流上執行滑動窗口，并在窗口上應用一組有序的聚合函數每個單獨的窗口保持的事件的屬性由“Group-by”的參數確定。其中窗口由窗口的大小size，滑動步長advance兩個參數定義。窗口類型WType可分為基于時間(Time)和元組(Tuple)兩類。連接操作Join，其定義如下：Join{P,size,advance}(Sl,Sr)斷言P對從來自左右兩個流Sl、Sr的事件el、er進行判斷，size為窗口大小，此處滑動步長advance等于窗口大小size。下面示例開始：步驟1：獲取用于關聯分析的查詢語句。例如：我們比較感興趣：在180秒內，訪問目的端口25、80、135的次數落在區間[15,30]的IP用戶到底有多少。因為這可能是蠕蟲爆發的結果。輸入事件的模式的域包括：ID(事件標識)、SRC_IP(源地址IP)、SRC_Port(源地址端口)、DST_IP(目的地址IP)、DST_Port(目的地址端口)、timestamp(事件時間戳)、Info(其他信息)。步驟2：把查詢語句按照上文定義的有狀態操作和無狀態操作分解成一串操作序列。上文的查詢語句可由2個有狀態操作(聚合操作A1、A2)和3個無狀態操作(Map操作M和Filters操作F1、F2)組成。具體各個操作定義如下：Map操作M具體定義如下：M{SRC_IP←SRC_IP,DST_Port←DST_Port,Time←Time}(I,OM)Map操作M完成對輸入事件流I的元組的屬性域進行裁剪，丟棄后續運算不需要的域，即在本示例中去掉ID、SRC_Port、Info等域。Map操作M的下一個操作是Filters操作F1，操作M輸出流OM是F1操作的輸入流。Filters操作F1具體定義如下：F1{DST_port＝＝25|本文檔來自技高網...

【技術保護點】
一種基于并行分布式架構的復雜事件處理的方法，其特征在于：把復雜事件處理技術對事件進行處理的操作分解成幾個元操作，并把元操作分為兩類：無狀態操作和有狀態操作；所謂無狀態操作，即對后面的事件的處理操作和前面的事件的處理操作無關聯；所謂有狀態操作，對后面事件的處理操作需要依據結合前面事件的處理操作進行處理操作，通過滑動窗口實現；劃分的無狀態操作包括：映射、轉換操作，過濾操作或聯合操作；有狀態操作包括：聚合操作或連接操作；具體步驟如下：步驟1：獲取用于關聯分析的查詢語句；步驟2：把查詢語句按照上文定義的有狀態操作和無狀態操作分解成一串操作序列；步驟3：按照有狀態操作把操作序列即查詢語句分解成子操作序列即子查詢語句，即有多少個有狀態操作就劃分成多少個子操作序列；其中劃分的第一個子操作序列至少包括無狀態的操作，或者僅僅由無狀態的操作組成，且該子操作序列包含了第一個有狀態操作之前的所有無狀態操作；包含有狀態操作的子操作序列其第一個操作一定是有狀態操作，該子操作也包含下一個有狀態操作之前的所有無狀態操作；步驟4：依照步驟3查詢語句劃分成子查詢的數量，把集群按照該數目等分成相同數量的子群，把查詢語句按照步驟2劃分成的子操作序列分布式部署到劃分好的每個子群上，子群中的每個機器都部署相應的子操作。...

【技術特征摘要】
1.一種基于并行分布式架構的復雜事件處理的方法，其特征在于：把復雜事件處理技術對事件進行處理的操作分解成幾個元操作，并把元操作分為兩類：無狀態操作和有狀態操作；所謂無狀態操作，即對后面的事件的處理操作和前面的事件的處理操作無關聯；所謂有狀態操作，對后面事件的處理操作需要依據結合前面事件的處理操作進行處理操作，通過滑動窗口實現；劃分的無狀態操作包括：映射、轉換操作，過濾操作或聯合操作；有狀態操作包括：聚合操作或連接操作；具體步驟如下：步驟1：獲取用于關聯分析的查詢語句；步驟2：把查詢語句按照上文定義的有狀態操作和無狀態操作分解成一串操作序列；步驟...

【專利技術屬性】
技術研發人員：廉海明，郭旭東，謝小明，胡佳，胡大正，郭江，沈艷林，石波，沈德峰，吳朝雄，王紅艷，
申請(專利權)人：中國航天科工集團第二研究院七〇六所，
類型：發明
國別省市：北京;11