用于網(wǎng)絡流量監(jiān)控的方法和系統(tǒng)技術方案

本發(fā)明專利技術的實施例涉及用于網(wǎng)絡流量監(jiān)控的方法和系統(tǒng)。本發(fā)明專利技術實施例的方法包括：在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL，主動抓取所述熱點URL對應的資源，對主動抓取的所述熱點URL對應的資源進行協(xié)議重組，及對經(jīng)協(xié)議重組的數(shù)據(jù)進行內(nèi)容分析。本發(fā)明專利技術實施例還提供一種用于網(wǎng)絡流量監(jiān)控的系統(tǒng)。本發(fā)明專利技術的實施例可以有效減少協(xié)議重組及后臺內(nèi)容分析和的負擔，提高整個系統(tǒng)的效率，降低系統(tǒng)成本；此外，對于分布式P2P資源，可以進行智能重組，支持P2P監(jiān)控。

【技術實現(xiàn)步驟摘要】

本專利技術涉及互聯(lián)網(wǎng)(Internet)領域，且更具體而言，涉及互聯(lián)網(wǎng)中數(shù)據(jù)流量的監(jiān)控。
技術介紹
隨著Internet的快速發(fā)展，互聯(lián)網(wǎng)成為信息傳播承載的主要途徑。然而，傳統(tǒng)互聯(lián)網(wǎng)缺乏監(jiān)管，惡意/黃色/人身攻擊的信息泛濫，甚至已經(jīng)出現(xiàn)恐怖組織利用互聯(lián)網(wǎng)培養(yǎng)恐怖分子、組織恐怖襲擊的案例。為了應對這種不良情態(tài)，采用技術手段對互聯(lián)網(wǎng)進行監(jiān)管已成為各國政府和運營商的共識。流量監(jiān)控系統(tǒng)在這樣的背景下應運而生。流量監(jiān)控系統(tǒng)采集流量信息，還原原始信息，并根據(jù)原始信息中的特征進行智能分析，從而及時發(fā)現(xiàn)網(wǎng)絡中存在的漏洞，并力求對網(wǎng)絡攻擊做到防患于未然。傳統(tǒng)的流量監(jiān)控方法一般分為三個步驟：流量引流、協(xié)議重組及后臺內(nèi)容分析。這三個步驟由對應的三種功能單元完成，如圖1所示，分別為引流分類單元102、協(xié)議重組單元104及后臺內(nèi)容分析單元106。其中，引流分類單元102按照協(xié)議類型將收到的數(shù)據(jù)包分發(fā)給不同的協(xié)議重組單元104，協(xié)議重組單元104還原應用層信息(例如，從簡單郵件傳輸協(xié)議(SMTP)報文還原電子郵件(Email)信息、從超文本傳輸協(xié)議(HTTP)報文還原網(wǎng)頁的超文本標記語言(HTML)，然后，將還原的應用層信息連同時間標簽，鏈路信息等發(fā)送至后臺內(nèi)容分析單元106進行分析。后臺內(nèi)容分析單元106由服務器集群組成，對還原的應用層信息進行熱點統(tǒng)計、互聯(lián)網(wǎng)信息分析等，從而采取一定的措施抑制網(wǎng)絡攻擊。但是，在上述現(xiàn)有技術中，引流分類單元被動引流，大流量的數(shù)據(jù)直接被導入到協(xié)議重組單元和后臺內(nèi)容分析單元。隨著流量的增長，協(xié)議重組單元和后臺內(nèi)容分析單元中的服務器集群的處理成本會大幅上升。其次，后臺內(nèi)容分析功能是在協(xié)議重組后完成的，從而對大量相同的內(nèi)容進行重復重組，導致對協(xié)議重組單元的性能需求很大。此外，上述傳統(tǒng)的流量監(jiān)控方法由于只能獲得部分的對等網(wǎng)絡(Peer-To-Peer，英文簡稱為P2P)文件分片而無法實現(xiàn)智能鏈接其它的P2P文件分片，從而不能處理對等網(wǎng)絡的流量監(jiān)控。
技術實現(xiàn)思路
有鑒于此，本專利技術的一方面提供一種用于網(wǎng)絡流量監(jiān)控的方法，所述方法包括：在預定時間內(nèi)對統(tǒng)一資源定位符URL(Uniform/Universal?ResourceLocator，URL)的被請求次數(shù)進行統(tǒng)計以確定熱點URL；主動抓取所述熱點URL對應的資源；對主動抓取的所述熱點URL對應的資源進行協(xié)議重組；及對經(jīng)協(xié)議重組的數(shù)據(jù)進行內(nèi)容分析。本專利技術的一方面提供一種用于網(wǎng)絡流量監(jiān)控的系統(tǒng)，所述系統(tǒng)包括：引流分類單元，用于對數(shù)據(jù)包進行引流分類；熱點統(tǒng)計單元，用于在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL；主動抓取單元，用于主動抓取所述熱點URL對應的資源；協(xié)議重組單元，用于對主動抓取的所述熱點URL對應的資源進行協(xié)議重組；及后臺內(nèi)容分析單元，用于對經(jīng)協(xié)議重組后的數(shù)據(jù)進行內(nèi)容分析。本專利技術實施例的技術方案在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL，然后主動抓取所述熱點URL對應的資源進行協(xié)議重組和內(nèi)容分析。因此，可以減少協(xié)議重組和后臺內(nèi)容分析的負擔。此外，本專利技術實施例的技術方案對于分布式P2P資源，可主動抓取分布在各處的P2P文件分片，以支持對P2P流量的監(jiān)控。附圖說明圖1為現(xiàn)有技術中傳統(tǒng)的網(wǎng)絡流量監(jiān)控系統(tǒng)的示意圖。圖2為本專利技術實施例中網(wǎng)絡流量監(jiān)控系統(tǒng)的一個實施例示意圖。圖3為本專利技術實施例中網(wǎng)絡流量監(jiān)控系統(tǒng)的另一個實施例示意圖。圖4為本專利技術實施例中網(wǎng)絡流量監(jiān)控方法的一個實施例示意圖。結(jié)合附圖閱讀時將更好地了解以上
技術實現(xiàn)思路
以及以下本專利技術的某些實施例的詳細描述。出于說明本專利技術的目的，在圖中展示某些實施例。然而，應了解，本專利技術不限于附圖中所展示的布置和手段。具體實施方式下文結(jié)合附圖所闡述的詳細說明意在說明本專利技術的各種實施例，而非代表本專利技術僅可實施為這些實施例。詳細說明包括具體細節(jié)，以便達成對本專利技術的透徹了解。然而，所屬領域的技術人員應了解，本專利技術的實施也可以不使用這些具體細節(jié)。在某些實例中，以方塊圖的形式顯示各眾所周知的結(jié)構及組件，以免淡化對本專利技術的說明。圖2描繪的是根據(jù)本專利技術一實施例的網(wǎng)絡流量監(jiān)控系統(tǒng)。該系統(tǒng)包括：引流分類單元202、熱點統(tǒng)計單元204、主動抓取單元206、協(xié)議重組單元208及后臺內(nèi)容分析單元210。其中，引流分類單元202，用于對數(shù)據(jù)包進行引流分類；熱點統(tǒng)計單元204，用于在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL；主動抓取單元206，用于主動抓取所述熱點URL對應的資源；協(xié)議重組單元208，用于對主動抓取的所述熱點URL對應的資源進行協(xié)議重組；后臺內(nèi)容分析單元210，用于對經(jīng)協(xié)議重組后的數(shù)據(jù)進行內(nèi)容分析。在該網(wǎng)絡流量監(jiān)控系統(tǒng)中，先獲得熱點資源，再進行協(xié)議重組和后臺內(nèi)容分析，使得對同樣的內(nèi)容僅進行一次處理，從而減少了協(xié)議重組單元和后臺內(nèi)容分析單元的負擔，提供了整個系統(tǒng)的效率。此外，對于分布式P2P資源，可主動抓取分布在各處的P2P文件分片，以支持對P2P流量的監(jiān)控。圖3描繪的是根據(jù)本專利技術的另一實施例的網(wǎng)絡流量監(jiān)控系統(tǒng)。該網(wǎng)絡流量監(jiān)控系統(tǒng)包括：引流分類單元302，用于對數(shù)據(jù)包進行引流分類；熱點統(tǒng)計單元304，用于在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL；主動抓取單元310，用于主動抓取所述熱點URL對應的資源；協(xié)議重組單元312，用于對主動抓取的所述熱點URL對應的資源進行協(xié)議重組；以及后臺內(nèi)容分析單元314，用于對經(jīng)協(xié)議重組后的數(shù)據(jù)進行內(nèi)容分析。其中，熱點統(tǒng)計單元304進一步包括分級統(tǒng)計單元306和判斷單元308。其中，分級統(tǒng)計單元306，用于建立資源表對所述URL分級統(tǒng)計被請求次數(shù)以確定每級URL是否為熱點URL。資源表將存儲每級URL在預定時間內(nèi)被請求的次數(shù)和預定的閾值。判斷單元308，用于當預定時間內(nèi)某一URL的被請求次數(shù)超過預定的閾值時，確定該URL為熱點URL。熱點URL對應的資源可以是網(wǎng)頁，也可以是P2P文件分片。圖4展示了一種用于網(wǎng)絡流量監(jiān)控的方法流程圖。這種方法可減少協(xié)議重組單元和后臺內(nèi)容分析單元的負擔，提高整個系統(tǒng)的效率并降低成本；其次，對于分布式P2P資源，可主動抓取分布在各處的P2P文件分片，支持對P2P流量的監(jiān)控。圖4所示的網(wǎng)絡流量監(jiān)控的方法包括：402：引流分類單元本文檔來自技高網(wǎng)...

【技術保護點】
一種用于網(wǎng)絡流量監(jiān)控的方法，其特征在于，所述方法包括：對數(shù)據(jù)包進行引流分類；在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL；主動抓取所述熱點URL對應的資源；對主動抓取的所述熱點URL對應的資源進行協(xié)議重組；及對經(jīng)協(xié)議重組的數(shù)據(jù)進行內(nèi)容分析。

【技術特征摘要】
1.一種用于網(wǎng)絡流量監(jiān)控的方法，其特征在于，所述方法包括：
對數(shù)據(jù)包進行引流分類；
在預定時間內(nèi)對統(tǒng)一資源定位符URL的被請求次數(shù)進行統(tǒng)計以確定熱點
URL；
主動抓取所述熱點URL對應的資源；
對主動抓取的所述熱點URL對應的資源進行協(xié)議重組；及
對經(jīng)協(xié)議重組的數(shù)據(jù)進行內(nèi)容分析。
2.根據(jù)權利要求1所述的方法，其特征在于，
在預定時間內(nèi)對URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL包括：對所
述URL分級統(tǒng)計被請求次數(shù)以確定每級URL是否為熱點URL。
3.根據(jù)權利要求1或2所述的方法，其特征在于，其中，
所述熱點URL對應的資源包括：網(wǎng)頁或?qū)Φ染W(wǎng)絡P2P文件分片。
4.根據(jù)權利要求1-3中任一項所述的方法，其特征在于，在預定時間內(nèi)對
URL的被請求次數(shù)進行統(tǒng)計以確定熱點URL包括：當某個URL在預定時間內(nèi)
被請求次數(shù)超過預定閾值時，則將該URL確定為所述熱點URL。
5.一種用于網(wǎng)絡流量監(jiān)控的系統(tǒng)，其特征在...

【專利技術屬性】
技術研發(fā)人員：陳旭，宋璇，尹咸陽，張仁卓，
申請(專利權)人：華為技術有限公司，
類型：發(fā)明
國別省市：