入侵檢測方法及系統技術方案

本發明專利技術公開了一種入侵檢測方法及系統，通過圖劃分方法對測試樣本集合進行聚類分析，然后利用訓練樣本集合來確定對測試樣本集合進行聚類分析而得到的聚簇的行為類別，從而實現了對測試樣本集合的行為類別的確定。由于對測試樣本集合的行為類別的確定過程并不完全依賴于訓練樣本集合所包含的訓練樣本所屬的行為類別，因此采用本發明專利技術實施例提供的方案能夠發現新的行為類別。

Intrusion detection method and system

The present invention discloses a kind of intrusion detection method and system, collection of test samples by cluster analysis of graph partitioning method, and then use the training set to determine the test sample set by cluster analysis obtained by cluster behavior categories, in order to achieve the set of test samples determine the behavioral categories. The process of determining set of the test sample behavior category is not totally dependent on the training set contains the training samples belonging to the behavior category, thus provided by the embodiment of the invention scheme can find new types of behavior.

【技術實現步驟摘要】
入侵檢測方法及系統
本專利技術涉及入侵檢測
，尤其涉及一種入侵檢測方法及系統。
技術介紹
Internet為資源的共享與信息的交流提供了高效而便捷的全新方式，但同時它也被占有、偷竊、甚至毀壞他人的計算機信息系統資源的入侵者所利用，使得網絡中的信息資源面臨著嚴重的安全威脅。為了保證網絡信息系統的安全，人們從很多方面都采取了一定的措施，該些措施共同構成了網絡安全防御體系。入侵檢測（IntrusionDetection）技術是網絡安全防御體系的一種核心技術。它通過運用一些自治和智能的工具對計算機系統或計算機網絡中的若干關鍵點信息進行收集和分析，并檢測其中是否有違反安全策略的攻擊企圖、攻擊行為或攻擊結果，從而實現對系統或網絡資源的實時保護。該技術是由靜態防護轉化為動態防護的關鍵，也是強制執行安全策略的有力工具。傳統的入侵檢測大多基于數據挖掘及機器學習方法，大致有以下幾種基本思想：一種是把入侵檢測看作是一個模式識別問題，即根據網絡流量特征（目的地址、源地址、目的端口號、源端口號、傳輸協議、發送字節數、TCP選項等）和主機審計記錄（CPU利用率、I/O利用率、文件訪問、用戶命令調用序列）等來區分系統的正常行為和異常行為，即可以看做是一個典型的分類問題。特別地，在訓練樣本是不均衡的未標定數據集時，入侵檢測又可視為一個孤立點發現或樣本密度估計問題。統計機器學習理論為解決這類問題提供了大量的方法，如k近鄰算法、聚類、模式匹配、支持向量機、神經網絡等。另一種則是把入侵檢測視為一個知識表示和規則提取問題。在用于實現入侵檢測的入侵檢測系統中，實際的數據源往往具有多變性、不同質、高維數等特性，這就使得在高速網絡環境下采集的數據通常構成的是一個多屬性、非線性的海量數據集。在這種情況下，可以通過基于符號的歸納機器學習方法（如決策樹、粗糙集等）對該數據集進行約簡處理，得到面向用戶的數據的簡潔表示，并提取出正常行為的規則，從而完成異常檢測。機器學習方法則可以被看作一個搜索問題，即按照一定的搜索策略在假設集中完成對學習目標的搜索問題。從這種觀點出發，入侵檢測可視為基于訓練樣本集，按照既定的搜索策略對目標函數的搜索或逼近問題，通過學習，期望得到表示目標函數的最優解的過程。遺傳和進化機器學習為完成這種類型的學習問題提供了有力的工具。面對目前越來越頻繁出現的分布式、多目標、多階段的組合式網絡攻擊和黑客行為，采用多節點、分布式、可伸縮性的入侵檢測體系結構已成為必然的趨勢。網絡攻擊手段的多樣化、攻擊的分布式和自動化迫使入侵檢測系統必須動態地適應網絡環境的變化，這樣的要求和增強機器學習方法的本質一致。增強機器學習方法，特別是多Agent系統學習方法在大型入侵檢測系統中得到了廣泛的應用，它充分利用了Agent的自治性、反應性、移動性、協作性和智能性。由于入侵檢測和機器學習方法之間存在較密切的關系，因此在實際使用中，可以將多種機器學習方法結合起來將取得更好的效果，但同時，還應該首先保證入侵檢測系統的正確性，其次保證其實時性。因為只有檢測正確，才能獲得準確的入侵信息，從而更好的保護網絡的安全；而只有檢測速度快，才能及時處理網絡中傳輸的海量數據，而不會產生因為速度慢而丟失信息、造成漏警的情況，并更能保證及時的采取相應措施，將入侵帶來的損失降到最低。以下具體介紹基于機器學習方法的各種入侵檢測在正確性和實時性等方面的特點：現有的基于機器學習方法的入侵檢測可以分為基于監督學習方法的入侵檢測、基于無監督學習方法的入侵檢測和基于半監督學習方法的入侵檢測三種。針對基于監督學習方法的入侵檢測而言，首先需要對足夠多的帶有類別標注的訓練樣本進行學習，這不僅需要花費大量的人力對足夠多的訓練樣本進行類別標注，耗費大量的機器學習時間獲得學習模型，而且檢測的范圍只能局限于訓練樣本所標注的類別范圍內，不能檢測出新的行為類別（如攻擊類型的行為類別等）；而且在入侵檢測過程中，正常數據的數量通常遠遠大于異常數據的數量，這種數據集失衡的情況對學習模型的質量也有很大的影響。而對于基于無監督學習方法的入侵檢測而言，其檢測精度明顯低于基于監督學習方法的入侵檢測，而且入侵檢測結果的準確性很大程度上取決于人工設定的相關參數（如聚類的類別數目）。在現有技術中，如何在訓練數據稀缺且正常數據和入侵數據比例失衡的現實網絡環境下，既能保證入侵檢測的效率（即保證高檢測率和低誤報率），降低入侵檢測結果對人工的依賴程度，又能根據樣本的實際分布情況進行入侵檢測，并發現新的攻擊類型，成為當前的研究熱點。
技術實現思路
本專利技術實施例提供一種入侵檢測方法及系統，用以解決現有技術中采用的入侵檢測方法不能檢測出新的行為類別的問題。本專利技術實施例采用以下技術方案：一種入侵檢測方法，包括：入侵檢測系統獲得輸入的入侵檢測數據集合，其中，所述入侵檢測數據集合由訓練樣本集合和測試樣本集合構成，所述訓練樣本集合由分別對應于不同行為類別的訓練樣本簇構成，所述測試樣本集合由待檢測樣本構成；基于圖劃分方法，確定所述測試樣本集合所包含的由待檢測樣本構成的各個聚簇；針對每個所述聚簇，執行下述操作：確定用于表征該聚簇與不同訓練樣本簇之間的相對互連程度的各相對互連度值和用于表征該聚簇與不同訓練樣本簇之間的相對緊密程度的各相對緊密度值；并根據所述測試樣本集合所包含的聚簇的總個數、所述訓練樣本集合所包含的訓練樣本簇對應的行為類別的數目，以及確定的各相對互連度值和各相對緊密度值，確定該聚簇的行為類別。一種入侵檢測系統，包括：數據集合獲得單元，用于獲得輸入的入侵檢測數據集合，其中，所述入侵檢測數據集合由訓練樣本集合和測試樣本集合構成，所述訓練樣本集合由分別對應于不同行為類別的訓練樣本簇構成，所述測試樣本集合由待檢測樣本構成；聚簇確定單元，用于基于圖劃分方法，確定數據集合獲得單元獲得的所述測試樣本集合所包含的由待檢測樣本構成的各個聚簇；行為類別確定單元，用于針對聚簇確定單元確定的每個所述聚簇，執行：確定用于表征該聚簇與不同訓練樣本簇之間的相對互連程度的各相對互連度值和用于表征該聚簇與不同訓練樣本簇之間的相對緊密程度的各相對緊密度值；并根據所述測試樣本集合所包含的聚簇的總個數、所述訓練樣本集合所包含的訓練樣本簇對應的行為類別的數目，以及確定的各相對互連度值和各相對緊密度值，確定該聚簇的行為類別。本專利技術實施例的有益效果如下：本專利技術實施例提供的上述方案通過圖劃分方法對測試樣本集合進行聚類分析，然后利用訓練樣本集合來確定對測試樣本集合進行聚類分析而得到的聚簇的行為類別，從而實現了對測試樣本集合的行為類別的確定。由于對測試樣本集合的行為類別的確定過程并不完全依賴于訓練樣本集合所包含的訓練樣本所屬的行為類別，因此采用本專利技術實施例提供的方案能夠發現新的行為類別。本專利技術實施例提供的方案將LDA主題模型引入入侵檢測過程中，根據潛在主題的分布情況和潛在主題的屬性特征的分布情況對入侵檢測數據進行特征選擇，可以獲得更符合網絡特征的高質量的屬性特征，減少數據冗余，提高入侵檢測的效率。附圖說明圖1為本專利技術實施例提供的一種入侵檢測方法的具體流程示意圖；圖2a為實際應用中基于LDA模型和圖劃分方法的入侵檢測方法的具體流程示意圖；圖2b為本專利技術實施例中的步驟23的具體實現過程示意圖；圖2本文檔來自技高網...

【技術保護點】
一種入侵檢測方法，其特征在于，包括：入侵檢測系統獲得輸入的入侵檢測數據集合，其中，所述入侵檢測數據集合由訓練樣本集合和測試樣本集合構成，所述訓練樣本集合由分別對應于不同行為類別的訓練樣本簇構成，所述測試樣本集合由待檢測樣本構成；基于圖劃分方法，確定所述測試樣本集合所包含的由待檢測樣本構成的各個聚簇；針對每個所述聚簇，執行下述操作：確定用于表征該聚簇與不同訓練樣本簇之間的相對互連程度的各相對互連度值和用于表征該聚簇與不同訓練樣本簇之間的相對緊密程度的各相對緊密度值；入侵檢測系統根據所述訓練樣本集合，確定相對互連度閾值和相對緊密度閾值；比較總個數和數目；并在比較得到所述總個數不大于所述數目時，分別確定各訓練樣本簇和該聚簇之間的相對互連度值和相應的相對緊密度值的乘積，并根據最大的所述乘積對應的訓練樣本簇的行為類別確定該聚簇的行為類別是否為入侵行為類別；在比較得到所述總個數大于所述數目時，判斷是否存在滿足預定判決條件的訓練樣本簇；在判斷結果為是時，根據滿足所述條件的訓練樣本簇的行為類別確定該聚簇的行為類別是否為入侵行為類別；在判斷結果為否時，確定該聚簇的行為類別為不同于任意所述訓練樣本簇所屬行為類別的新的行為類別；其中，所述預定判決條件包括：訓練樣本簇與該聚簇之間的相對互連度值和相對緊密度值分別不小于所述相對互連度閾值和所述相對緊密度閾值。...

【技術特征摘要】
1.一種入侵檢測方法，其特征在于，包括：入侵檢測系統獲得輸入的入侵檢測數據集合，其中，所述入侵檢測數據集合由訓練樣本集合和測試樣本集合構成，所述訓練樣本集合由分別對應于不同行為類別的訓練樣本簇構成，所述測試樣本集合由待檢測樣本構成；基于圖劃分方法，確定所述測試樣本集合所包含的由待檢測樣本構成的各個聚簇；針對每個所述聚簇，執行下述操作：確定用于表征該聚簇與不同訓練樣本簇之間的相對互連程度的各相對互連度值和用于表征該聚簇與不同訓練樣本簇之間的相對緊密程度的各相對緊密度值；入侵檢測系統根據所述訓練樣本集合，確定相對互連度閾值和相對緊密度閾值；比較總個數和數目；并在比較得到所述總個數不大于所述數目時，分別確定各訓練樣本簇和該聚簇之間的相對互連度值和相應的相對緊密度值的乘積，并根據最大的所述乘積對應的訓練樣本簇的行為類別確定該聚簇的行為類別是否為入侵行為類別；在比較得到所述總個數大于所述數目時，判斷是否存在滿足預定判決條件的訓練樣本簇；在判斷結果為是時，根據滿足所述條件的訓練樣本簇的行為類別確定該聚簇的行為類別是否為入侵行為類別；在判斷結果為否時，確定該聚簇的行為類別為不同于任意所述訓練樣本簇所屬行為類別的新的行為類別；其中，所述預定判決條件包括：訓練樣本簇與該聚簇之間的相對互連度值和相對緊密度值分別不小于所述相對互連度閾值和所述相對緊密度閾值。2.如權利要求1所述的方法，其特征在于，根據所述訓練樣本集合，確定相對互連度閾值和相對緊密度閾值，具體包括：確定所述入侵檢測數據集合所包含的潛在主題的個數、所述入侵檢測數據集合中的每個待檢測樣本所包含的潛在主題的分布概率值和每個潛在主題所包含的屬性特征的分布概率值；根據確定的所述潛在主題的分布概率值和所述屬性特征的分布概率值，分別確定每個潛在主題所包含的屬性特征的重要度值；根據確定出的各重要度值，從所述潛在主題所包含的屬性特征中選取屬性特征；根據選取的屬性特征和所述訓練樣本集合，確定用于表征所述訓練樣本集合中包含的各個訓練樣本的鄰接圖，并根據所述鄰接圖中作為鄰接圖節點的不同訓練樣本之間的距離，確定不同訓練樣本簇之間的相對互連度值和相對緊密度值；根據確定出的各相對互連度值和相對緊密度值，確定相對互連度閾值和相對緊密度閾值。3.如權利要求2所述的方法，其特征在于，確定所述入侵檢測數據集合所包含的潛在主題的個數、所述入侵檢測數據集合中的每個待檢測樣本所包含的潛在主題的分布概率值和每個潛在主題所包含的屬性特征的分布概率值，具體包括：根據LDA模型混亂度分析技術，確定所述入侵檢測數據集合所包含的潛在主題的個數；基于指定的超參數α和β，Gibbs抽樣估計技術以及確定出的所述入侵檢測數據集合所包含的潛在主題的個數，確定所述入侵檢測數據集合中的每個待檢測樣本所包含的潛在主題的分布概率值和每個潛在主題所包含的屬性特征的分布概率值。4.如權利要求1所述的方法，其特征在于，基于圖劃分方法，確定所述測試樣本集合所包含的由待檢測樣本構成的各個聚簇，具體包括：根據預先規定的相似節點個數，確定用于表征所述測試樣本集合中包含的待檢測樣本的最近鄰圖；針對所述最近鄰圖中由待檢測樣本所表征的最近鄰圖節點構成的最大集合循環執行第一指定操作，直至確定出對所述最大集合進行劃分而得到的子集合均符合劃分結束條件時，以符合劃分結束條件的各子集合分別作為聚簇循環執行第二指定操作，直至對聚簇進行合并而得到的聚簇滿足合并結束條件時，循環執行第三指定操作，直至聚簇的總個數不大于預設個數閾值；所述預設個數閾值是根據所述測試樣本集合所包含的潛在主題的數目、所述訓練樣本集合所包含的潛在主題的數目，以及所述訓練樣本集合所包含的訓練樣本簇對應的行為類別的數目而確定的；所述第一指定操作包括：基于對所述最大集合劃分成兩個子集合時所需要截斷的最近鄰圖節點之間的連線的加權和最小的劃分原則，將所述最大集合劃分成兩個子集合；判斷劃分得到的子集合是否均符合劃分結束條件；在判斷結果為否時，將不符合所述劃分結束條件的子集合作為所述最大集合；所述劃分結束條件包括：劃分得到的子集合中的最近鄰圖節點彼此之間的連線數小于所述最近鄰圖包含的最近鄰圖節點總數乘以指定比例值所得的積；所述第二指定操作包括：針對每個聚簇，從除該聚簇外的其他聚簇中，確定是否存在不滿足所述合并結束條件的聚簇；在確定存在時，將該聚簇與不滿足所述合并結束條件的一個聚簇合并為一個聚簇；所述合并結束條件包括：與該聚簇的相對互連性值小于所述相對互連性閾值，或與該聚簇的相對緊密度值小于所述相對緊密度閾值；所述第三指定操作包括：比較所述合并而得到的聚簇的總個數與預設個數閾值，在比較出所述合并而得到的聚簇的總個數大于預設個數閾值時，針對所述合并而得到的每個聚簇執行：針對每個所述合并而得到的聚簇，從除該聚簇外的所述合并而得到的每個聚簇中，選取與該聚簇的相對互連性值和相對緊密度值的乘積最大的聚簇，并將該聚簇與選取的聚簇合并為一個合并而得到的聚簇。5.一種入侵檢測系統，其特征在于，包括：數據集合獲得單元，用于獲得輸入的入侵檢測數...

【專利技術屬性】
技術研發人員：王強，鞠康，展俊云，
申請(專利權)人：中國移動通信集團山東有限公司，
類型：發明
國別省市：山東,37