一種網絡高維大數據異常入侵的檢測方法技術

本發明專利技術公開了一種網絡高維大數據異常入侵的檢測方法，包括學習階段和檢測階段，其中學習階段包括首先建立一個包括有固定的SST子空間、無監督的SST子空間、有監督的SST子空間的SST空間，當進入檢測階段時，每一個網絡數據到來后，為了捕獲到新到達數據的信息，數據所屬于的每個SST子空間的概要PCS將會被更新，如果細胞的PCS屬于至少一個預定義閾值的SST子空間，則判定這些子空間是異常的離群子空間，最后將異常的細胞的PCS值和包括異常的離群子空間的全部或特定數量的異常值反饋給用戶且反饋至SST空間。本發明專利技術針對網絡數據量大，維數升高，使得數據之間的相關性減小的情況下也能進一步提升網絡異常入侵的檢測效率和準確率。

【技術實現步驟摘要】

本專利技術涉及一種網絡數據異常檢測方法，具體涉及網絡高維大數據異常入侵的檢 測方法。
技術介紹
近年來網絡發展日新月異，從網絡流量異常檢測中可以檢測到惡意的網絡入侵， 而來自于網絡的數據規模越來越大，一個被入侵的計算機網絡將威脅到網絡的穩定和安 全，甚至導致私人信息和財產的丟失。為了保證網絡的安全，目前用于檢測網絡異常入侵所 的方法主要有兩類，分別為誤用檢測方法和異常檢測方法。誤用檢測方法是從流數據中提 取特征并與已知的簽名、模式或者規格做比較，如果某個特征違反了一個或者多個簽名，這 個入侵就會被發現，這種誤用檢測方法是由該領域的專家提出的，在檢測已知入侵類型的 方法中相對簡單和準確，但是，由于該領域專家的知識的有限性，誤用檢測方法不能有效的 檢測當前的未知的入侵。相反，異常檢測方法建立了模型和正常數據的配置文件，并認為 明顯偏離模型和正常數據的配置文件即為入侵，可以有效的檢測新的入侵，然而，異常檢測 方法通常具有較高的錯誤率，并且大部分沒有相關錯誤處理機制，從而完全的依賴于人類 (安全專家）去進一步的檢測異常，因此異常檢測方法容易產生錯誤和需要浪費時間去進 一步辨別。 異常檢測方法非常類似于異常點檢測方法，因此，近年來，所提出的利用異常值檢 測的方法大部分都解決了異常檢測的問題，但大多數常規的異常值/奇異點檢測方法只能 夠檢測出相對低維和靜態數據集（沒有頻域變化的數據）中的異常，在處理高維數據和數 據流的異常檢測時由于對這兩個活躍的交互領域缺乏實質性的研宄工作，導致不能有效的 處理大的網絡原始數據。在高維空間中關于子空間異常值檢測方法，利用估計異常的測量 方法并不能實時更新，導致他們無法處理快速的數據流，在數據流中檢測異常的技術依賴 于完整的數據空間，同時這些技術不能發現子空間的異常，也就不能實現對網絡高維大數 據進行異常檢測。
技術實現思路
本專利技術旨在至少在一定程度上解決現有網絡異常檢測方法不能適應網絡高維大 數據異常入侵的異常檢測的問題。為此，本專利技術的一個目的在于提出一種網絡高維大數據 異常入侵的檢測方法，針對網絡數據量大，維數升高，使得數據之間的相關性減小的情況下 也能進一步提升網絡異常入侵的檢測效率和準確率。 為達到上述目的，本專利技術提出了，所述 種網絡高維大數據異常入侵的檢測方法包括學習階段和檢測階段，其中學習階段首先建立 一個包括有固定的SST子空間（FS)、無監督的SST子空間（US)、有監督的SST子空間（SS) 的SST空間，每一個網絡數據到來后，為了捕獲到新到達數據的信息，數據所屬于的每個 SST子空間的概要PCS將會被更新，如果細胞的PCS屬于至少一個預定義閾值的SST子空 間，則判定這些子空間是異常的離群子空間，最后將異常的細胞的PCS值和包括異常的離 群子空間的全部或特定數量的異常值反饋給用戶。 本專利技術提供的網絡高維大數據異常入侵的檢測方法中的學習階段包括首先建立 一個包括有固定的SST子空間（FS)、無監督的SST子空間（US)、有監督的SST子空間（SS) 的SST空間，從而形成了檢測數據的異常點的多重準則，且每一個網絡數據到來后數據所 屬于的每個SST子空間的概要PCS將會被更新，最后將異常的細胞的PCS值和包括異常的 離群子空間的全部或特定數量的異常值反饋給用戶且反饋至SST空間，使得SST空間在持 續更新異常點數據，因此能夠快速的發現子空間的各種新的異常，達到自適應處理高維網 絡數據異常檢測的目的。 進一步的，建立一個包括有固定的SST子空間（FS)、無監督的SST子空間（US)、有 監督的SST子空間（SS)的SST空間的過程包括 S1 :組建固定的SST子空間（FS)，固定的SST子空間（FS)包含在滿的晶格中由用 戶指定的參數約束的所有子空間，FS滿足 S2 :離線學習構建無監督的SST子空間（US)過程，首先向一組歷史數據中輸入 未標記的訓練數據，所有的訓練數據被掃描并被唯一的指定在超立方體的一個細胞中， 超立方體中的各個已占有統計信息的細胞在數據分配過程其數據將會被保持，當所有 的訓練數據映射到相應的細胞中后，采用多目標遺傳算法（M0GA)從訓練數據集中找到 子空間中更高數目的異常，這些子空間將被添加到初始的US中；在獲得最初的US后， 再進一步獲得更多有用的子空間，并在訓練數據中找到最無關的子空間，其中訓練數 據的整體無關程度在無監督方式下采用聚類分析方法獲得，定義通過多目標遺傳算法 (M0GA)所獲得整體訓練數據的最稀少的子空間中兩個點的距離為無關的距離（0D)，則，式中m是M0GA返回的最稀少子空間的數目七是返回該集 合的子空間，Pl、P2為子空間的兩個點； S3:監督的SST子空間（SS)是指在一些應用中，一些小數量的異常可以由該領域 專家或早期的檢測方法中獲得，包括采用多目標遺傳算法（M0GA)應用到每一個這些異常 的例子，找到最稀疏的子空間，這些子空間被定義為監督的SST子空間（SS)，這些異常的例 子可以被視為該領域的知識，可以有效的改進SST空間使其能更好的檢測。 進一步的，所述的細胞的PCS屬于至少一個預定義閾值的SST子空間的所述細胞 的PCS為異常點，則進一步通過多目標遺傳算法搜索存在所述異常點的SST子空間。 進一步的，所述網絡高維大數據異常入侵的檢測方法是通過多目標遺傳算法搜索 SST子空間中的RD、IRSD、IKRD，并在多代和每一代產生包含多個個體的一個種群（即子空 間）進行子空間搜索。 進一步的，所述子空間的第一代的子空間為隨機產生，而隨后的多代子空間是利 用交叉和變異搜索算子在他們上一代的子空間中產生，每一代子空間的個數定位在目標函 數空間的不同權衡表面，將位于最佳子空間的表面定義為ParetoFront，則將逐步產生越 來越多的位于ParetoFront的從非最優子空間變化而來的最優子空間。 進一步的，所述聚類分析方法為固定寬度的聚集方法，首先數據集中已經聚集的 每個點P將會被分配到C'簇中，即OD(p,c' ) <d。，Vc，c'，〇D(p,c')彡OD(p, Ci)，這樣cQ與已有m點的質心將在p的集群分配中更新， 如果Vc,.，有〇D(p，Ci)彡d。，然后一個新的簇形成，并且P成為這個簇的新質心；如 此重復形成新的族，直到所述所有數據集中的數據被聚集。 進一步的，所述反饋的異常值也被相關性反饋到SST空間的SST無監督子空間 (US)，并在SST無監督子空間（US)內合并相關性反饋產生新的子空間，實現SST空間的動 態更新。 進一步的，所述合并相關性反饋過程為首先是將每個在SST中的子空間設置權重 為1 ;當SST中的子空間是正確離群子空間的時候權重增加，當SST中的子空間是錯誤信息 的離群子空間的時候權重將減少；每次經過特定數量的網絡數據處理，在SST中的子空間 的權重將低于從SST得到的調整權重閾值；產生的新的子空間的權重將高于閾值。 本專利技術提供的網絡高維大數據異常入侵的檢測方法利用多重準則來檢測數據的 異常點，并利用多目標遺傳算法搜索存在異常值的子空間，實現多重準則的在線更新，能夠 處理網絡環境中的高維數據問題，且能有效的搜索子空間從而檢測到子空間的異常，能夠 利用動態子空間本文檔來自技高網...

【技術保護點】
一種網絡高維大數據異常入侵的檢測方法，包括學習階段和檢測階段，其中學習階段包括首先建立一個包括有固定的SST子空間(FS)、無監督的SST子空間(US)、有監督的SST子空間(SS)的SST空間，當進入檢測階段時，每一個網絡數據到來后，為了捕獲到新到達數據的信息，數據所屬于的每個SST子空間的概要PCS將會被更新，如果細胞的PCS屬于至少一個預定義閾值的SST子空間，則判定這些子空間是異常的離群子空間，最后將異常的細胞的PCS值和包括異常的離群子空間的全部或特定數量的異常值反饋給用戶且反饋至SST空間。

【技術特征摘要】

【專利技術屬性】
技術研發人員：李宏周，張吉，龐雪燕，劉建明，陳天寧，
申請(專利權)人：桂林電子科技大學，
類型：發明
國別省市：廣西;45