一種軟硬件結(jié)合的互聯(lián)網(wǎng)流分類(lèi)方法技術(shù)

本發(fā)明專(zhuān)利技術(shù)提供一種軟硬件結(jié)合的互聯(lián)網(wǎng)流分類(lèi)方法，通過(guò)位圖向量BV算法或聚合位圖向量ABV算法對(duì)互聯(lián)網(wǎng)流進(jìn)行切分，并結(jié)合混合狀態(tài)自動(dòng)機(jī)HFA的模式匹配算法，進(jìn)行流分類(lèi)。充分利用硬件匹配引擎的處理能力，簡(jiǎn)化軟件算法的處理邏輯，從而達(dá)到流分類(lèi)效率最大化的目的。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種軟硬件結(jié)合的互聯(lián)網(wǎng)流分類(lèi)方法
本專(zhuān)利技術(shù)涉及流分類(lèi)

技術(shù)介紹
傳統(tǒng)的流分類(lèi)算法實(shí)現(xiàn)方案有兩種，即硬件實(shí)現(xiàn)和軟件實(shí)現(xiàn)。硬件實(shí)現(xiàn)主要是基于TCAM(ternarycontentaddressablememory)的硬件查找。軟件實(shí)現(xiàn)的主要算法有：以BV(BitmapVector)及ABV(AggregateBitmapVector)為代表的比特矢量算法，以HiCuts為代表的決策樹(shù)算法，以及以RFC(RecursiveFlowClassification)為代表的遞歸流分類(lèi)算法。傳統(tǒng)的固網(wǎng)流分類(lèi)條件有：1TCP/UDP端口號(hào)；2URL和子URL；3MAC地址；4IP地址；5IP優(yōu)先級(jí)；6時(shí)間等等。而作為移動(dòng)互聯(lián)網(wǎng)接入設(shè)備，需要增加用戶(hù)手機(jī)號(hào)作為用戶(hù)標(biāo)識(shí)，這樣也對(duì)傳統(tǒng)的流分類(lèi)算法提出了新的要求。基于軟件的流分類(lèi)算法，在分類(lèi)速度、存儲(chǔ)空間、更新速度等流分類(lèi)的評(píng)估指標(biāo)上各有優(yōu)缺點(diǎn)，但從總體上來(lái)說(shuō)，這些算法與基于硬件TCAM分類(lèi)算法有著本質(zhì)的差別，TCAM(ternarycontentaddressablememory)是一種三態(tài)內(nèi)容尋址存儲(chǔ)器，主要用于快速查找ACL、路由等表項(xiàng)。TCAM具有查找速度快、操作簡(jiǎn)單的優(yōu)點(diǎn)，但同時(shí)它也具有3個(gè)明顯的缺點(diǎn)：成本高、功耗大和路由更新復(fù)雜。并且TCAM主要針對(duì)固網(wǎng)實(shí)現(xiàn)，針對(duì)移動(dòng)網(wǎng)手機(jī)號(hào)沒(méi)有成型的解決方案。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)提供了一種軟硬件結(jié)合的移動(dòng)互聯(lián)網(wǎng)流分類(lèi)方法，既能夠充分利用硬件匹配的優(yōu)勢(shì)，又能夠?qū)σ苿?dòng)互聯(lián)網(wǎng)的手機(jī)號(hào)進(jìn)行分類(lèi)。所述移動(dòng)互聯(lián)網(wǎng)流分類(lèi)的方法包括：通過(guò)位圖向量BV算法或聚合位圖向量ABV算法對(duì)互聯(lián)網(wǎng)流進(jìn)行切分；并結(jié)合固化在芯片中的混合狀態(tài)自動(dòng)機(jī)HFA的模式匹配算法對(duì)移動(dòng)互聯(lián)網(wǎng)流進(jìn)行匹配，根據(jù)匹配的結(jié)果對(duì)流進(jìn)行分類(lèi)。優(yōu)選地，所述位圖的策略的確定具體為：首先對(duì)互聯(lián)網(wǎng)流進(jìn)行DPI解析，獲取應(yīng)用協(xié)議、關(guān)鍵字內(nèi)容和用戶(hù)手機(jī)號(hào)信息，根據(jù)8元組進(jìn)行用戶(hù)策略位圖匹配，根據(jù)匹配結(jié)果將互聯(lián)網(wǎng)流切分為固網(wǎng)用戶(hù)流和移動(dòng)網(wǎng)用戶(hù)流；其中，所述8元組包括：源IP地址、目的IP地址、源端口、目的端口、協(xié)議號(hào)、用戶(hù)手機(jī)號(hào)、報(bào)文攜帶的關(guān)鍵字和對(duì)報(bào)文要做的動(dòng)作。優(yōu)選地，如果互聯(lián)網(wǎng)流為移動(dòng)用戶(hù)流，則判斷是否獲取到移動(dòng)用戶(hù)組ID，如果是，則計(jì)算策略位圖為該互聯(lián)網(wǎng)流屬于相應(yīng)的移動(dòng)地址組，否則，該互聯(lián)網(wǎng)流屬于默認(rèn)移動(dòng)地址組。優(yōu)選地，如果互聯(lián)網(wǎng)流為固網(wǎng)用戶(hù)流，則判斷是否獲取到源地址組，如果是，則計(jì)算策略位圖為該互聯(lián)網(wǎng)流屬于相應(yīng)的源地址組，否則，該互聯(lián)網(wǎng)流屬于默認(rèn)源地址組。優(yōu)選地，所述方法還包括：判斷是否獲取到目的地址組，如果是，則計(jì)算策略位圖為相應(yīng)的目的地址組，否則，源地址組策略位圖是默認(rèn)目的地址組位圖。本專(zhuān)利技術(shù)在傳統(tǒng)的流分類(lèi)算法的基礎(chǔ)上，將流分類(lèi)的軟件實(shí)現(xiàn)和模式匹配的硬件匹配引擎相結(jié)合，充分利用硬件匹配引擎的處理能力，簡(jiǎn)化軟件算法的處理邏輯，從而達(dá)到流分類(lèi)效率的最大化；傳統(tǒng)的流分類(lèi)算法主要針對(duì)固網(wǎng)IP五元組，本專(zhuān)利技術(shù)將移動(dòng)網(wǎng)與固網(wǎng)的流分類(lèi)相結(jié)合，實(shí)現(xiàn)了移動(dòng)網(wǎng)、固網(wǎng)、移動(dòng)加固網(wǎng)的流分類(lèi)?！靖綀D說(shuō)明】圖1是固化有HFA匹配算法的芯片結(jié)構(gòu)；圖2是本專(zhuān)利技術(shù)的流分類(lèi)匹配處理流程?！揪唧w實(shí)施方式】在本專(zhuān)利提出的流分類(lèi)處理中分別采用了2種通用算法：1、軟件算法BV(BitmapVector，位圖向量)算法是一種利用硬件位層次的并行性來(lái)加速的算法，ABV(AggregatedBitmapVector，聚合位圖向量)算法是對(duì)位圖向量算法的改進(jìn)，其目的是通過(guò)聚合進(jìn)一步減少訪(fǎng)存次數(shù)以加速分類(lèi)。其基本思想是“分割——合并”，它將一個(gè)d維的流分類(lèi)問(wèn)題分割為d個(gè)一維匹配的子問(wèn)題，然后將子問(wèn)題的結(jié)果進(jìn)行合并得到最后的匹配規(guī)則。在用于固網(wǎng)的流分類(lèi)算法實(shí)現(xiàn)中，應(yīng)用ABV對(duì)需要進(jìn)行分類(lèi)的IP、端口等d個(gè)維度的元組構(gòu)建d棵非完全二叉樹(shù)，并在二叉樹(shù)的末端節(jié)點(diǎn)(與分類(lèi)策略對(duì)應(yīng)的節(jié)點(diǎn))掛對(duì)應(yīng)的策略位圖向量。2、硬件算法HFA(HyperFiniteAutomata)是一種結(jié)合了確定性有限自動(dòng)機(jī)(DFA)和非確定性有限自動(dòng)機(jī)(NFA)的模式匹配算法。該算法作為匹配引擎，固化在Cavium公司的芯片上。如圖1所示。通過(guò)以上分析，可以結(jié)合HFA模式匹配引擎的硬件匹配能力和ABV算法的維度切分的思想，將移動(dòng)互聯(lián)網(wǎng)流量的元組進(jìn)行切分，并利用HFA引擎作匹配。比較典型的應(yīng)用就是協(xié)議、端口號(hào)和手機(jī)號(hào)。例如，移動(dòng)互聯(lián)網(wǎng)的處理方法：步驟1：配置移動(dòng)用戶(hù)組，添加手機(jī)組下的多個(gè)手機(jī)號(hào)段。將手機(jī)組綁定到策略ID上。步驟2：軟件上配置手機(jī)號(hào)規(guī)則，例如匹配某一號(hào)段下(以138開(kāi)頭)的所有手機(jī)號(hào)，在軟件上基于正則做出相應(yīng)的匹配規(guī)則，用來(lái)查找所有以138開(kāi)頭，然后是8位數(shù)字的字符串(像13800001000)。步驟3：將規(guī)則下發(fā)給HFA匹配引擎(硬件)，生成圖，報(bào)文進(jìn)來(lái)后通過(guò)HFA，有138號(hào)段則HFA反饋該號(hào)段匹配成功。步驟4：根據(jù)反饋的手機(jī)號(hào)找到對(duì)應(yīng)的移動(dòng)用戶(hù)組，再通過(guò)策略位圖找到對(duì)應(yīng)的策略ID,從而完成流分類(lèi)匹配。這樣在手機(jī)號(hào)進(jìn)行匹配之后，得到相應(yīng)的位圖，從而完成流量分類(lèi)。下面主要通過(guò)移動(dòng)網(wǎng)手機(jī)號(hào)流程闡述流分類(lèi)的過(guò)程：當(dāng)對(duì)報(bào)文進(jìn)行分類(lèi)處理時(shí)，我們需要識(shí)別報(bào)文為固網(wǎng)還是移動(dòng)(需要獲得報(bào)文的源，目的ip，msisdn號(hào))，報(bào)文的應(yīng)用類(lèi)型，報(bào)文攜帶的關(guān)鍵字，然后對(duì)識(shí)別的報(bào)文進(jìn)行某類(lèi)處置。這樣就形成了策略的基本構(gòu)成元素：(源、目的ip、msisdn)+報(bào)文的應(yīng)用類(lèi)型+報(bào)文攜帶的關(guān)鍵字+對(duì)報(bào)文要做的動(dòng)作。一條策略對(duì)應(yīng)于一類(lèi)報(bào)文，所以策略的配置組成：策略ID(ID越小優(yōu)先級(jí)越高)+用戶(hù)組+應(yīng)用類(lèi)+內(nèi)容組+動(dòng)作組流分類(lèi)配置方案：一條策略為一個(gè)用戶(hù)組(一個(gè)源地址組+一個(gè)目的地址組+移動(dòng)用戶(hù)組)+一個(gè)應(yīng)用類(lèi)+一個(gè)內(nèi)容列表+動(dòng)作組本專(zhuān)利主要基于用戶(hù)組分類(lèi)提供了一種解決方案：用戶(hù)組在流分類(lèi)中的分類(lèi)原則：一個(gè)源ip會(huì)屬于多個(gè)一個(gè)或多個(gè)源地址組和一個(gè)代表所有用戶(hù)的默認(rèn)源地址組，一個(gè)目的ip會(huì)屬于多個(gè)一個(gè)或多個(gè)目的地址組和一個(gè)代表所有用戶(hù)的默認(rèn)目的地址組一個(gè)手機(jī)號(hào)會(huì)屬于多個(gè)一個(gè)或多個(gè)移動(dòng)地址組和一個(gè)代表手機(jī)用戶(hù)的默認(rèn)移動(dòng)地址組，一個(gè)地址組會(huì)屬于一個(gè)或多個(gè)策略。流分類(lèi)匹配處理流程如圖2所示：對(duì)進(jìn)入的報(bào)文進(jìn)行DPI解析，返回應(yīng)用協(xié)議，關(guān)鍵字內(nèi)容，用戶(hù)手機(jī)號(hào)信息，并根據(jù)8元組信息做策略匹配；其中，所述8元組包括：源IP地址、目的IP地址、源端口、目的端口、協(xié)議號(hào)、用戶(hù)手機(jī)號(hào)(如：msisdn)、報(bào)文攜帶的關(guān)鍵字和對(duì)報(bào)文要做的動(dòng)作。判斷用戶(hù)是固網(wǎng)用戶(hù)還是移動(dòng)網(wǎng)用戶(hù)；如果是固網(wǎng)用戶(hù)，則查找源IP是否在源地址組中，如果在，則計(jì)算策略位圖是相應(yīng)的源地址組位圖，如果不在，則計(jì)算策略位圖為默認(rèn)源地址組位圖；接下來(lái)查找目的IP是否在目的地址組中，如果在，則計(jì)算策略位圖是相應(yīng)的目的地址組，如果不在，則源地址組策略位圖為默認(rèn)目的地址組位圖。如果是移動(dòng)網(wǎng)用戶(hù)，則查找手機(jī)號(hào)是否在移動(dòng)地址組中，如果在，則計(jì)算策略位圖是相應(yīng)的移動(dòng)地址組位圖，如果不在，則計(jì)算策略位圖為默認(rèn)移動(dòng)地址組位圖。然后，根據(jù)應(yīng)用，用戶(hù)，動(dòng)作和關(guān)鍵字遍歷策略位圖，獲取策略ID及相關(guān)策略信息，根據(jù)策略動(dòng)作對(duì)報(bào)文做相應(yīng)的處理。本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種移動(dòng)互聯(lián)網(wǎng)流分類(lèi)方法，其特征在于，包括：通過(guò)位圖向量BV算法或聚合位圖向量ABV算法對(duì)互聯(lián)網(wǎng)流進(jìn)行切分；并結(jié)合固化在芯片中的混合狀態(tài)自動(dòng)機(jī)HFA的模式匹配算法對(duì)移動(dòng)互聯(lián)網(wǎng)流進(jìn)行匹配，根據(jù)匹配的結(jié)果對(duì)流進(jìn)行分類(lèi)。

【技術(shù)特征摘要】
1.一種移動(dòng)互聯(lián)網(wǎng)流分類(lèi)方法，其特征在于，包括：對(duì)互聯(lián)網(wǎng)流進(jìn)行DPI解析，獲取應(yīng)用協(xié)議、關(guān)鍵字內(nèi)容和用戶(hù)手機(jī)號(hào)信息，根據(jù)8元組進(jìn)行用戶(hù)策略位圖匹配，根據(jù)匹配結(jié)果，通過(guò)位圖向量BV算法或聚合位圖向量ABV算法將移動(dòng)互聯(lián)網(wǎng)流進(jìn)行切分，并結(jié)合固化在芯片中的混合狀態(tài)自動(dòng)機(jī)HFA的模式匹配算法對(duì)移動(dòng)互聯(lián)網(wǎng)流進(jìn)行匹配；所述移動(dòng)互聯(lián)網(wǎng)流包括固網(wǎng)用戶(hù)流和移動(dòng)網(wǎng)用戶(hù)流；根據(jù)匹配的結(jié)果將移動(dòng)互聯(lián)網(wǎng)流分類(lèi)為固網(wǎng)用戶(hù)流和移動(dòng)網(wǎng)用戶(hù)流。2.基于權(quán)利要求1所述的方法，其特征在于，所述8元組包括：源IP地址、目的IP地址、源端口、目的端口、協(xié)議號(hào)、用戶(hù)手機(jī)號(hào)、報(bào)文攜帶的關(guān)鍵字和...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：張博，張姝靜，
申請(qǐng)(專(zhuān)利權(quán))人：北京中創(chuàng)騰銳技術(shù)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：北京;11