本發(fā)明專利技術提供一種Web業(yè)務的細粒度分類與管理系統(tǒng)，將本系統(tǒng)部署在網絡邊界處，實現(xiàn)方式：對已知的Web業(yè)務分別通過歷史行為數據訓練構建行為模型；利用行為模型對Web業(yè)務進行在線的細粒度分類與管理；對于未知類型的Web業(yè)務,系統(tǒng)自動構建行為模型并實現(xiàn)動態(tài)維護。本發(fā)明專利技術用于對使用相同HTTP協(xié)議的不同Web業(yè)務進行細粒度的分類，對不同Web業(yè)務所產生的HTTP流按照給定的服務策略進行有效的調度和管理。本發(fā)明專利技術基于HTTP會話屬性，既不需要進行應用層凈荷分析，又能避免傳統(tǒng)基于流和端口方法的缺陷，能有效地實現(xiàn)Web業(yè)務的精細分類與管理。系統(tǒng)具有動態(tài)更新、創(chuàng)建與細化的能力。本發(fā)明專利技術可以應用于多種不同目的的場景。
【技術實現(xiàn)步驟摘要】
本專利技術屬于網絡
，它提出了一種實現(xiàn)Web業(yè)務細粒度分類與管理的系統(tǒng)。
技術介紹
萬維網(World Wide Web, WWW)，簡稱Web，是一個通過網絡存取互連超文件(interlinked hypertext document)的系統(tǒng)。在基于Web的應用中，客戶端僅需要一個瀏覽器就可以完成數據的索取與發(fā)送任務。這種跨平臺特性與瘦客戶特性使Web技術迅速滲透到每一個應用領域，并在現(xiàn)代互聯(lián)網中扮演著重要的角色，例如:電子商務、電子政務及金融服務等。由于Web業(yè)務的廣泛使用，常規(guī)的網絡安全管理系統(tǒng)一般都開放Web業(yè)務所使用的標準TCP 80端口，并默認與TCP 80端口通信的網絡流量是合法的Web業(yè)務，即網頁瀏覽型業(yè)務。這一特點吸引了越來越多的網絡應用遷移到Web平臺上，例如:在線交易、即時通信、網絡游戲等。從而導致Web通信方式成為一種通用的網絡業(yè)務載體。其主要原因是在現(xiàn)有的Web平臺下，各種網絡業(yè)務都可以利用HTTP協(xié)議及TCP80端口偽裝成合法的Web業(yè)務，從而自由穿越邊界防火墻，躲避邊界安全系統(tǒng)的檢測與過濾。多個知名的市場預測機構曾指出，Web體系未來將有可能全面取代傳統(tǒng)桌面應用程序成為統(tǒng)一的、跨平臺的工作環(huán)境。這種現(xiàn)象意味著Web數據流所包含的不再是單一的網頁瀏覽型業(yè)務，在相同的HTTP協(xié)議包裝下，隱藏著各種不同類型的網絡應用。在缺乏有效管理手段的情況下，這些網絡應用相互爭奪與吞噬有限的網絡資源。而從網絡入侵與攻擊的角度看，基于HTTP協(xié)議的Web平臺無疑給攻擊者提供了一個更加隱蔽、有效的雙向通信渠道?？梢姡找娑鄻踊c復雜化的HTTP流給網絡的資源分配與安全管理帶來了新的挑戰(zhàn)。為了有效利用網絡資源，使合法業(yè)務具有更好的服務質量，也為了實現(xiàn)網絡安全管理，杜絕基于Web平臺的惡意通信行為，需要對各種Web應用進行有效的監(jiān)督和管理，增強網絡業(yè)務的可控性。而對Web業(yè)務進行分類是實現(xiàn)有效管理的前提條件。目前與這一領域相關的技術主要有兩大類:應用層協(xié)議分類與Web瀏覽行為推斷。常用的應用層協(xié)議分類技術有:基于端口的方法、深層數據包檢測方法、網絡流量統(tǒng)計方法及基于協(xié)議行為的分類方法。基于端口的分類方法,是使用IANA中注冊的標準端口號列表匹配TCP/UDP端口號來識別各種應用層業(yè)務。對于端口恒定、且網絡業(yè)務與端口之間存在唯一映射關系的業(yè)務，這種方法的效率及準確度都非常高。但是隨著新興業(yè)務及私有通信協(xié)議的發(fā)展，越來越多的網絡業(yè)務使用標準端口或動態(tài)端口躲避營商或邊界防火墻的監(jiān)控與攔截。這使得基于端口的網絡業(yè)務分類方法的識別率日益下降。有分析報告指出，端口分類方法在Email、FTP、Telnet,DNS等端口恒定的業(yè)務識別上具有絕對優(yōu)勢，達到了 98%的準確率，誤判率在0.05%以下。但是對于HTTP流業(yè)務，由于許多其它業(yè)務，如P2P、網絡視頻、即時通信等也大量使用80端口，導致80端口上50%的流量是非常規(guī)的HTTP業(yè)務，因此基于端口的分類方法在識別HTTP業(yè)務方面會產生較大的誤判率，無法滿足現(xiàn)有網絡應用細粒度分類的需求。深度報文檢測技術是指針對網絡數據包中的應用層凈荷數據進行識別與業(yè)務分類。這種方法的依據是不同的網絡應用會采用不同的協(xié)議，而各種協(xié)議都有它特殊的標記，即協(xié)議識別中的“關鍵詞”。通過這些特殊的協(xié)議標記可以確定網絡流上的業(yè)務類型。這種方法首先提取每個待檢測的網絡協(xié)議的識別規(guī)則并建立規(guī)則庫(例如:關鍵詞序列庫)。通過模式匹配方法尋找數據包的應用層數據是否與規(guī)則庫中的規(guī)則匹配。深度報文檢測技術的關鍵在于規(guī)則庫的建立和維護，其性能主要取決于特征匹配方法。常用的特征匹配方法主要有:正則表達式方法和字符串匹配方法。有報告指出，采用深度報文檢測和端口檢測相結合的方法，可以達到接近100%的準確率。但是其主要的問題包括:(1)不適合實時在線運行。因為該方法需要對應用層凈荷進行分析匹配，計算復雜度非常高，其效率難以適合高速網絡環(huán)境。(2)難以處理加密協(xié)議或私有協(xié)議的情況。新興網絡業(yè)務為躲避監(jiān)控，會采用各種方法隱藏自己的特征標記，例如:不公開協(xié)議文檔、對協(xié)議加密、增加擾碼、甚至不定期更新通信協(xié)議等。這使規(guī)則庫的建立面臨巨大的挑戰(zhàn)，而由于協(xié)議標記的變形，導致匹配的誤差越來越大，最終難以實際應用?；诰W絡流統(tǒng)計的方法假設不同應用會有其特定的流量統(tǒng)計特性，例如:流的持續(xù)時間、分組互到達時間、字節(jié)數等。并以此對網絡應用進行分類。這種方法的依據是不同的網絡業(yè)務對丟包率、可靠性、帶寬、時延等的要求不同，這些差異通過某些可觀測的特征有規(guī)律地表現(xiàn)出來，因此通過對這些特征的統(tǒng)計分析可以實現(xiàn)業(yè)務的分類。實現(xiàn)基于流統(tǒng)計的分類方法的第一步是定義“流”，目前常用的方法有:把一個TCP連接視為一個網絡流、或簡單地采用TCP/IP五元組(源IP、源端口、目的IP、目的端口、協(xié)議)定義一個網絡流，然后以流為檢測單位。然后找出不同網絡業(yè)務的流量特征差異，定義網絡應用的模式與特征指標，通過機器學習、模式識別建立分類模型實現(xiàn)網絡業(yè)務識別。基于網絡流統(tǒng)計的方法最大的特點是適用于加密協(xié)議或私有協(xié)議的分類，而且由于不需要對應用層凈荷進行分析匹配，因此與協(xié)議結構無關，穩(wěn)定性與實時性都比較好。然而它具有以下的不足:(1)難以實現(xiàn)新應用的主動發(fā)現(xiàn)。現(xiàn)有基于網絡流統(tǒng)計的技術主要根據已知業(yè)務建立網絡流統(tǒng)計特征庫，利用該特征庫識別特定的業(yè)務。對于未知的新業(yè)務，該方法難以進行有效處理。(2)目前的技術一般只針對“大類”進行區(qū)分，例如:HTTP、P2P、SMTP等，沒有考慮細粒度的網絡業(yè)務劃分，例如:區(qū)分HTTP協(xié)議下存在的多種不同網絡應用。(3)以“流”為分類單位難以反映真實的Web業(yè)務特性。實際的Web事務交互過程中，一個用戶與給定的服務器經常同時、交錯地存在多個“流”。這些“流”在刻畫一次完整Web事務是應該視為一個整體。而目前基于“流”的技術往往假設每一個“流”之間相互獨立，因此可以獨立地處理每一個流。盡管這種處理方式可以大大簡化復雜度，但卻難以體現(xiàn)出高層Web業(yè)務的通信特點?；趨f(xié)議行為的分類方法通過解析通信協(xié)議的交互過程、狀態(tài)變化來實現(xiàn)網絡業(yè)務的識別。而上述的深度報文檢測、網絡流統(tǒng)計方法則只是把應用協(xié)議數據看成沒有結構的、靜態(tài)的比特流進行模式匹配，忽略了每一個通信過程都是收發(fā)雙方交互的結果，在交互的過程中，通信協(xié)議會根據當前的狀態(tài)及輸入信息決定如何響應、及下一個進入的狀態(tài)。有研究指出，隨著模式與報文的增加，這種基于協(xié)議動態(tài)行為的分類方法的效率將優(yōu)于深度報文檢測方法。但這種方法最大的挑戰(zhàn)在于:它必須了解網絡業(yè)務的通信過程，維護通信過程中完整的狀態(tài)信息。對于一些無狀態(tài)的通信協(xié)議(例如:HTTP)，如何有效描述協(xié)議行為的上下文信息是目前還未能很好解決的問題。另外，如何挖掘未知網絡應用的行為模式也是目前比較少關注的問題。從上述分析可見，目前的幾種主要方法在處理基于HTTP協(xié)議的Web業(yè)務分類方面主要存在以下的問題:(I)沒有考慮Web業(yè)務的細粒度分類問題；(2)沒有利用Web業(yè)務的應用層行為特征；(3)難以處理未知Web業(yè)務。目前，專門針對HTTP協(xié)議，刻畫Web業(yè)務行為的方法并不多見。已經提出的技術主要集中在網頁瀏覽行為方面。這是由于網本文檔來自技高網...
【技術保護點】
一種實現(xiàn)Web業(yè)務細粒度分類與管理的系統(tǒng)，其特征在于將本系統(tǒng)部署在網絡邊界處，該系統(tǒng)通過以下步驟實現(xiàn)：1）對所有已知的Web業(yè)務分別通過歷史行為數據訓練構建行為模型；2）利用行為模型對Web業(yè)務進行細粒度分類與管理；并對行為模型進行動態(tài)維護。
【技術特征摘要】
1.一種實現(xiàn)Web業(yè)務細粒度分類與管理的系統(tǒng)，其特征在于將本系統(tǒng)部署在網絡邊界處，該系統(tǒng)通過以下步驟實現(xiàn): 1)對所有已知的Web業(yè)務分別通過歷史行為數據訓練構建行為模型； 2)利用行為模型對Web業(yè)務進行細粒度分類與管理；并對行為模型進行動態(tài)維護。2.根據權利要求1所述的實現(xiàn)Web業(yè)務細粒度分類與管理的系統(tǒng)，其特征在于所述步驟I)的實現(xiàn)方式為: 10)確定需要構建行為模型的Web業(yè)務App； 11)從混合的雙向網絡流中提取出所有Web業(yè)務的HTTP流； 12)將得到的匯聚HTTP流送到離線應用分類模塊，用于提取出所有屬于App的HTTP流 量; 13)按“源(ΙΡΓ目的(Host)”把App的HTTP流量分離為HTTP會話流集合(S-D1, S-D2,...，S-DJ ； 14)從每一個會話流中提取相應的行為屬性矢量序列，所述行為屬性矢量序列刻畫了Web業(yè)務App的靜態(tài)行為特征； 15)行為模式空間的推斷，是采用無監(jiān)督模糊聚類算法分析所有屬于App的行為屬性矢量序列集合，推斷App的行為模式空間，及各種行為模式的初始化特征； 16)行為模型的構建，是采用時間序列模型描述行為模式的動態(tài)演變過程，得到刻畫App行為的數值模型參數λπ。3.根據權利要求2所述的實現(xiàn)Web業(yè)務細粒度分類與管理的系統(tǒng)，其特征在于所述步驟16)所述的時間序列模型為HMM或HsMM模型，是利用無監(jiān)督模糊聚類的結果初始化HMM或HsMM模型，并通過迭代算法構建描述指定Web業(yè)務App的動態(tài)行為模型，輸出模型參數λ m04.根據權利要求3所述的實現(xiàn)Web業(yè)務細粒度分類與管理的系統(tǒng)，其特征在于所述步驟2)中對Web業(yè)務進行管理包括四個部分:獨立的多優(yōu)先權隊列組、隊列輸入調度中心、隊列控制中心和隊列輸出調度中心； 所述獨立的多優(yōu)先權隊列組，設置多個相互獨立的隊列，每一個隊列對應一種服務優(yōu)先權； 所述隊列輸入調度中心，根據在線檢測后的分類判決結果，即分類標簽，決定當前HTTP流的目的隊列編號:如果是屬于已知的Web業(yè)務類型，則送入對應的隊列；如果是系統(tǒng)自動識別出的新業(yè)...
【專利技術屬性】
技術研發(fā)人員：謝逸，李曼，胡智圣，
申請(專利權)人：中山大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。