基于可視化聚類的網絡流量異常分析方法技術

本發明專利技術公開了一種基于可視化聚類對網絡流量進行異常分析的方法，步驟為：1)對網絡流量監控數據記錄進行預處理；2)對流量數據進行RadViz可視聚類，得到網絡流量特征類似的流量時隙聚類；3)歸納2)所得到的流量時隙聚類的網絡流量特征，得到流量特征異常的聚類；4)對2)所得到的流量時隙聚類過濾選擇，得到不在聚類內離散的時隙點；5)結合IPPort矩陣對3)4)所得到的流量異常聚類中的和離散的時隙點進行分析。本發明專利技術能結合多角度快速對網絡流量進行協同過濾，高效分析出網絡流量的異常。

【技術實現步驟摘要】
基于可視化聚類的網絡流量異常分析方法
本專利技術涉及一種基于可視化聚類的網絡流量異常分析方法。
技術介紹
流量是網絡中傳播的數據量，數據傳輸是網絡活動的基礎，網絡流量就是網絡活動最重要的標志之一，幾乎所有的網絡應用和網絡攻擊在流量變化上都有跡可循。如今信息社會進入大數據時代，網絡規模日益壯大，設備集成程度越來越高，數據容量越來越大，新興的網絡業務正在逐漸被開發，網絡流量呈爆發性的增長，這些都有可能使得網絡出現狀況。由于網絡流量數據的海量和高維，傳統的數據挖掘技術和算法讓用戶難以理解和使用，往往耗費大量的時間，也未能分析清楚數據之間的關聯來反應完整的網絡狀態，而且不能以用戶為驅動進行交互。而實踐證明，用可視化的方法描述龐大的流量數據集合和復雜的關聯規則，讓用戶在易于理解的圖形結構中對流量進行直觀的可視分析，效率和效果都會比對著一堆數據操作好很多。用戶在看到直觀的圖片形式的網絡流量表示圖后，可以較快的對當前流量有一個清楚的認識，同時也便于用戶繼續執行流量分析及異常判斷的步驟。基于可視化方法對網絡流量進行異常分析，能幫助用戶直觀地感受網絡狀態的發展，使用戶能夠在及時找出故障原因，預測運行態勢，規避網絡危險，從而做到防微杜漸，穩定網絡環境，提升網絡性能。
技術實現思路
本專利技術的主要目的是針對如今呈爆發性的增長的網絡流量和網絡問題，提出一種基于可視化聚類的，結合多角度快速對網絡流量進行協同過濾可視聚類的方法，能高效分析出網絡流量的異常。為了實現上述技術目的，本專利技術的技術方案是，一種基于可視化聚類對網絡流量進行異常分析的方法，包括：步驟1)：對需監控的時間段內網絡流量監控數據記錄進行預處理，得到反應流量特征的關于各個時隙slot點的集合p的流量信息表Netflow_Info_Table；步驟2)：根據步驟1)得到的流量信息表Netflow_Info_Table，對集合p進行RadViz可視聚類，得到網絡流量特征類似的時隙點聚類；步驟3)：初步歸納步驟2)得到的時隙點聚類的網絡流量特征，得到Radviz中流量特征異常聚類中的時隙點集s1；步驟4)：根據步驟2)得到的時隙點聚類圖像進行過濾選擇，得到不在聚類內的離散時隙點集s2；步驟5)：根據步驟3)和步驟4)得到的點集合s1、s2，用IPPort矩陣反映每個時隙點的IP和端口的流量、連接情況，利用IPPort矩陣判斷哪些時間點發生了何種異常，完成對該時間段網絡流量的異常分析。所述的一種基于可視化聚類對網絡流量進行異常分析的方法，所述步驟1)包括：步驟1.1)：提取需監控時間段內的網絡流量監控數據中的描述網絡流量特征數據，即提取每一條流記錄的時隙slot、發送方源IPsip、接收方目的IPdip、發送方端口sport、接收方端口dport、傳輸流大小byte字段；步驟1.2)：根據步驟1.1)得到的網絡流量特征數據，計算對應每個時隙網絡流量數據特征的相關統計信息，包括該時隙的源IP標準熵sipNormEntro、目的IP標準熵dipNormEntro，源端口標準熵sportNormEntro、目的端口標準熵dportNormEntro；該時隙的主機總連接數sumCount；該時隙的總流量大小sumByte；并將每一個時隙點加入時隙slot點集合p中，其中Pi代表集合p中第i個時隙點；步驟1.3)：根據步驟1.2)計算得到的對應每個時隙網絡流量數據特征的相關統計信息，建立關于各個時隙slot點集合p的流量信息表Netflow_Info_Table。所述的一種基于可視化聚類對網絡流量進行異常分析的方法，所述步驟2)包括：步驟2.1)：選取源IP標準熵sipNormEntro、目的IP標準熵dipNormEntro，源端口標準熵sportNormEntro、目的端口標準熵dportNormEntro；主機總連接數sumCount；總流量大小sumByte作為6個維度的錨點，將其均勻分布在RadViz圓周；步驟2.2)：對時隙slot點集p中每個流量時隙點進行Radviz聚類，每個時隙點在Radviz以半徑r的圓表示，r介于RadViz圓半徑的1/60與1/70之間，受其對應維度錨點產生的彈簧力而在RadViz中處于平衡位置；步驟2.3)：用K-Means算法對RadViz圓環內時隙點聚類，設置初始聚類個數X為流量信息表Netflow_Info_Table中時隙記錄條數；聚類內記錄個數限制Nummin＝30；在RadViz中隨機選定K個時隙點作為聚類質心Centroid，每個質心代表聚類Ci，i＝1，2，…，K；第一步對每個時隙點分別計算其到各個聚類質心的距離，選取距離該時隙點最近的聚類Ci作為這個時隙點的聚類；第二步對每個聚類重新計算質心，即對聚類中所有的點求平均坐標并作為新的質心；重復迭代第一步和第二步直到前后質心變動的距離d不大于時隙點半徑r；第三步逐個判斷每個聚類中記錄個數Numi是否小于類內記錄個數限制Nummin，若Numi＜Nummin，則取消該聚類，K＝K-1；聚類內的時隙點回復未被聚集狀態；聚類Ci半徑Ri為聚類Ci的質心到邊緣時隙點最大值，其中Ri的最大值為Rmax；步驟2.4)：對步驟2.3)中的初始聚類個數K、聚類內記錄個數限制Nummin進行調整，重復執行步驟2.3)，直到任一聚類Ci半徑Ri總小于與之相鄰聚類間質心距離，即得到最終聚類結果，其中初始聚類個數K的調整范圍為0到之間的整數，聚類內記錄個數限制Nummin為大于0的整數。所述的一種基于可視化聚類對網絡流量進行異常分析的方法，所述步驟2.4)中，最終聚類結果中的不同聚類由用戶進行調整，包括：步驟2.5)：對步驟2.4)中得到的每一個聚類Ci，首先統計該聚類中記錄個數Numi，然后以該聚類質心為圓心，以一半聚類半徑即為半徑，統計此區域內包含記錄個數num，若則認為聚類Ci記錄點分布離散，取消該聚類；若則記錄來作為衡量聚類Ci的記錄密度，其中Pi的最小值為Pmin；步驟2.6)：對步驟2.4)中由于Nummin限制未被聚類的時隙點，以及步驟2.5)中分散的時隙點，由用戶選擇組成新的聚類：第一步，隨機選擇一未被聚類的時隙點作為新聚類質心，然后以此時隙點為圓心、不大于當前已有聚類的最大半徑Rmax的距離為半徑，隨機選擇該范圍內的另一未被聚類的時隙點加入點集作為新聚類中的點，然后重新計算點集內所有點的平均坐標作為新的聚類質心，再以新的質心為圓心，半徑保持不變，繼續加入新的時隙點并計算質心，直至范圍內沒有未被聚類的時隙點或點集加入時隙點會成為已形成過的不能聚類的點集為止；第二步，設所選點集中時隙點個數為n、點集中所有點的平均坐標到點集中任一點的最大值為l，若滿足則認為六個維度對點集中時隙點影響相似，所選點集成為新的聚類，若不滿足，則認為所形成的點集不符合聚類要求，記錄該點集內容并標記為不能聚類的點集并取消聚類；隨后重復進行第一步和第二步，直到連續3次出現點集為已形成過的不能聚類的點集，則認為剩下的離散點再不能構成聚類。所述的一種基于可視化聚類對網絡流量進行異常分析的方法，對所述步驟3)包括：步驟3.1)：通過步驟2)RadViz可視聚類，將Radviz圓心往每一聚類Ci的質心的向量，向圓心到源ip本文檔來自技高網...

【技術保護點】
一種基于可視化聚類對網絡流量進行異常分析的方法，其特征在于，包括：?步驟1)：對需監控的時間段內網絡流量監控數據記錄進行預處理，得到反應流量特征的關于各個時隙slot點的集合p的流量信息表Netflow_Info_Table；?步驟2)：根據步驟1)得到的流量信息表Netflow_Info_Table，對集合p進行RadViz可視聚類，得到網絡流量特征類似的時隙點聚類；?步驟3)：初步歸納步驟2)得到的時隙點聚類的網絡流量特征，得到Radviz中流量特征異常聚類中的時隙點集s1；?步驟4)：根據步驟2)得到的時隙點聚類圖像進行過濾選擇，得到不在聚類內的離散時隙點集s2；?步驟5)：根據步驟3)和步驟4)得到的點集合s1、s2，用IPPort矩陣反映每個時隙點的IP和端口的流量、連接情況，利用IPPort矩陣判斷哪些時間點發生了何種異常，完成對該時間段網絡流量的異常分析。

【技術特征摘要】
1.一種基于可視化聚類對網絡流量進行異常分析的方法，其特征在于，包括：步驟1)：對需監控的時間段內網絡流量監控數據記錄進行預處理，得到反應流量特征的關于各個時隙slot點的集合p的流量信息表Netflow_Info_Table；步驟2)：根據步驟1)得到的流量信息表Netflow_Info_Table，對集合p進行RadViz可視聚類，得到網絡流量特征類似的時隙點聚類；步驟3)：初步歸納步驟2)得到的時隙點聚類的網絡流量特征，得到Radviz中流量特征異常聚類中的時隙點集s1；步驟4)：根據步驟2)得到的時隙點聚類圖像進行過濾選擇，得到不在聚類內的離散時隙點集s2；步驟5)：根據步驟3)和步驟4)得到的點集合s1、s2，用IPPort矩陣反映每個時隙點的IP和端口的流量、連接情況，利用IPPort矩陣判斷哪些時間點發生了何種異常，完成對該時間段網絡流量的異常分析；所述步驟1)包括：步驟1.1)：提取需監控時間段內的網絡流量監控數據中的描述網絡流量特征數據，即提取每一條流記錄的時隙slot、發送方源IPsip、接收方目的IPdip、發送方端口sport、接收方端口dport、傳輸流大小byte字段；步驟1.2)：根據步驟1.1)得到的網絡流量特征數據，計算對應每個時隙網絡流量數據特征的相關統計信息，包括該時隙的源IP標準熵sipNormEntro、目的IP標準熵dipNormEntro，源端口標準熵sportNormEntro、目的端口標準熵dportNormEntro；該時隙的主機總連接數sumCount；該時隙的總流量大小sumByte；并將每一個時隙點加入時隙slot點集合p中，其中Pi代表集合p中第i個時隙點；步驟1.3)：根據步驟1.2)計算得到的對應每個時隙網絡流量數據特征的相關統計信息，建立關于各個時隙slot點集合p的流量信息表Netflow_Info_Table；所述步驟2)包括：步驟2.1)：選取源IP標準熵sipNormEntro、目的IP標準熵dipNormEntro，源端口標準熵sportNormEntro、目的端口標準熵dportNormEntro；主機總連接數sumCount；總流量大小sumByte作為6個維度的錨點，將其均勻分布在RadViz圓周；步驟2.2)：對時隙slot點集p中每個流量時隙點進行Radviz聚類，每個時隙點在Radviz以半徑r的圓表示，r介于RadViz圓半徑的1/60與1/70之間，受其對應維度錨點產生的彈簧力而在RadViz中處于平衡位置；步驟2.3)：用K-Means算法對RadViz圓環內時隙點聚類，設置初始聚類個數X為流量信息表Netflow_Info_Table中時隙記錄條數；聚類內記錄個數限制Nummin＝30；在RadViz中隨機選定K個時隙點作為聚類質心Centroid，每個質心代表聚類Ci，i＝1，2，…，K；第一步對每個時隙點分別計算其到各個聚類質心的距離，選取距離該時隙點最近的聚類Ci作為這個時隙點的聚類；第二步對每個聚類重新計算質心，即對聚類中所有的點求平均坐標并作為新的質心；重復迭代第一步和第二步直到前后質心變動的距離d不大于時隙點半徑r；第三步逐個判斷每個聚類中記錄個數Numi是否小于類內記錄個數限制Nummin，若Numi＜Nummin，則取消該聚類，K＝K-1；聚類內的時隙點回復未被聚集狀態；聚類Ci半徑Ri為聚類Ci的質心到邊緣時隙點最大值，其中Ri的最大值為Rmax；步驟2.4)：對步驟2.3)中的初始聚類個數K、聚類內記錄個數限制Nummin進行調整，重復執行步驟2.3)，直到任一聚類Ci半徑Ri總小于與之相鄰聚類間質心距離，即得到最終聚類結果，其中初始聚類個數K的調整范圍為0到之間的整數，聚類內記錄個數限制Nummin為大于0的整數。2.根據權利要求1所述的一種基于可視化聚類對網絡流量進行異常分析的方...

【專利技術屬性】
技術研發人員：周芳芳，王俊韡，趙穎，彭燕妮，施榮華，樊曉平，
申請(專利權)人：中南大學，
類型：發明
國別省市：湖南;43