【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及流量日志報(bào)文解析，具體來說是一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)及方法。
技術(shù)介紹
1、通常流量日志解析方法是按照協(xié)議層次進(jìn)行解析，解析出日志數(shù)據(jù)報(bào)文的各個(gè)層次，包括物理層，數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層（參見表1）以及應(yīng)用層。同時(shí)采用一定的方法將每一層級(jí)的各個(gè)字段的詳細(xì)內(nèi)容解析出來，以便用戶能夠分析網(wǎng)絡(luò)通信的行為。
2、表1：數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層字段信息。
3、
4、本專利技術(shù)中針對研究的流量日志接口數(shù)據(jù)報(bào)文為以太網(wǎng)ipv4報(bào)文，且傳輸層為udp，端口號(hào)為p，應(yīng)用層內(nèi)容包括業(yè)務(wù)協(xié)議號(hào)、業(yè)務(wù)源ip地址、業(yè)務(wù)目的ip地址、業(yè)務(wù)源端口、業(yè)務(wù)目的端口、應(yīng)用層通用協(xié)議、消息體長度、http協(xié)議的字段、賬號(hào)信息、服務(wù)器主機(jī)名、協(xié)議識(shí)別碼等，參見表2。
5、表2：流量日志接口報(bào)文協(xié)議層結(jié)構(gòu)信息。
6、
7、現(xiàn)有技術(shù)中常用的技術(shù)方案是使用wireshark、tcpdump等第三方通用工具軟件對流量日志進(jìn)行解析，通用工具軟件可以解析并顯示各個(gè)協(xié)議層的信息，包括物理層的數(shù)據(jù)幀概況、數(shù)據(jù)鏈路層的以太網(wǎng)幀頭部信息、網(wǎng)絡(luò)層的ip包頭部信息、傳輸層的tcp/udp數(shù)據(jù)段頭部信息，以及部分應(yīng)用層的信息，如http協(xié)議。為了幫助用戶快速定位感興趣的數(shù)據(jù)報(bào)文，通用工具軟件還提供了過濾器功能。這些過濾器可以根據(jù)數(shù)據(jù)報(bào)文的特定字段（如源/目的ip地址、端口號(hào)、協(xié)議號(hào)等）來篩選數(shù)據(jù)報(bào)文，減少冗余信息的顯示，使用戶能夠更專注于分析關(guān)鍵數(shù)據(jù)。
8、雖然部分通用工具軟
9、因此，現(xiàn)在亟需設(shè)計(jì)一種能夠簡化并明確化處理流程的層次并有效縮短日志報(bào)文相關(guān)信息的查詢時(shí)間的網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)及方法。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)的不足，提供一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，用以實(shí)現(xiàn)支持配置文件設(shè)定日志報(bào)文協(xié)議層結(jié)構(gòu)，可根據(jù)日志格式動(dòng)態(tài)調(diào)整各種報(bào)文的應(yīng)用層解析方法；可根據(jù)需要自定義報(bào)文解析模式，自定義數(shù)據(jù)篩選格式，具有優(yōu)異的使用靈活性和可擴(kuò)展性；使用內(nèi)存數(shù)據(jù)庫存儲(chǔ)，支持對多種輸入、多路輸入和大量日志報(bào)文實(shí)時(shí)提取，使用方法操作簡便。
2、為了實(shí)現(xiàn)上述目的，設(shè)計(jì)一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，包括：日志配置加載模塊，包含解析配置文件加載模塊和日志配置文件解析模塊兩部分，所述配置文件加載模塊：用于加載和解析采用json格式的解析配置文件,所述解析配置文件定義了日志數(shù)據(jù)包的協(xié)議層字段信息，解析配置文件格式允許定義各種字段,包括每個(gè)協(xié)議層的字段名稱、類型和長度，所述協(xié)議層包括數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層；當(dāng)程序初始化或配置文件發(fā)生變化時(shí),該模塊會(huì)讀取解析配置文件并生成相應(yīng)的協(xié)議層解析結(jié)構(gòu)，所述解析結(jié)構(gòu)會(huì)傳遞給日志數(shù)據(jù)解析模塊使用；日志配置文件解析模塊：所述日志配置文件解析模塊使用日志配置加載模塊生成的解析結(jié)構(gòu)來解析接收到的日志數(shù)據(jù)包，所述日志配置文件解析模塊采用分層的方式,首先根據(jù)標(biāo)準(zhǔn)協(xié)議規(guī)范解析數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層和傳輸層的字段，對于可能因日志數(shù)據(jù)格式而變化的應(yīng)用層字段,解析模塊使用動(dòng)態(tài)解析接口，這個(gè)接口會(huì)根據(jù)配置文件中定義的具體日志數(shù)據(jù)格式選擇合適的解析邏輯；解析后的日志數(shù)據(jù)會(huì)提供給后續(xù)的模塊進(jìn)行進(jìn)一步處理；日志報(bào)文解析模塊，根據(jù)日志配置加載模塊生成的日志報(bào)文協(xié)議層解析結(jié)構(gòu)，結(jié)合固定格式的數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層字段信息，采用報(bào)文分層解析接口去分別按數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層的層次順序，對各個(gè)字段進(jìn)行詳細(xì)解析，分別解析出數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層的各項(xiàng)字段的詳細(xì)信息，供下一階段的處理模塊使用；日志數(shù)據(jù)存儲(chǔ)模塊，用于對解析出的日志數(shù)據(jù)進(jìn)行篩選和格式化，并將處理后的日志數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫中；日志信息查詢模塊，用于根據(jù)設(shè)定的比對條件，對存儲(chǔ)的日志數(shù)據(jù)進(jìn)行信息比對，并輸出查詢結(jié)果。
3、優(yōu)選的，本專利技術(shù)提供的系統(tǒng)還包括其他技術(shù)特征，其中所述解析配置文件，用于描述需要待解析的日志數(shù)據(jù)報(bào)文的協(xié)議層字段信息，采用json格式解析配置文件，用于描述各字段信息,?每種格式可以包含字段名稱、類型、長度等信息，支持通過配置文件對各種日志報(bào)文協(xié)議層字段進(jìn)行定義，報(bào)文字段信息的改動(dòng)也可以通過重載解析配置文件快速地應(yīng)用到正在運(yùn)行的程序。
4、優(yōu)選的，本專利技術(shù)提供的系統(tǒng)還包括其他技術(shù)特征，其中解析配置文件字段信息格式定義，能預(yù)設(shè)多種格式日志報(bào)文的解析模塊，或臨時(shí)動(dòng)態(tài)調(diào)整解析配置文件，當(dāng)程序初始化啟動(dòng)時(shí)，會(huì)加載解析配置文件；或當(dāng)解析配置文件改動(dòng)時(shí)，會(huì)觸發(fā)解析配置文件重新加載，此時(shí)會(huì)根據(jù)解析配置文件，讀取配置文件中設(shè)定的解析字段信息，這些信息包括解析字段名稱、字段類型和字段長度，通過日志配置文件解析模塊，將通過配置文件描述的協(xié)議層，轉(zhuǎn)換成日志報(bào)文協(xié)議層解析結(jié)構(gòu)，供下一階段的日志報(bào)文解析模塊使用。
5、優(yōu)選的，本專利技術(shù)提供的系統(tǒng)還包括其他技術(shù)特征，其中日志數(shù)據(jù)存儲(chǔ)模塊包含有日志數(shù)據(jù)篩選子模塊和日志數(shù)據(jù)處理子模塊兩部分，通過數(shù)據(jù)篩選子模塊預(yù)先設(shè)定的篩選字段，去除部分不需保留的字段信息之后，再通過日志數(shù)據(jù)處理子模塊，按照特定的數(shù)據(jù)格式進(jìn)行日志數(shù)據(jù)格式化，并將重組之后的格式化日志數(shù)據(jù)寫入到數(shù)據(jù)庫中。
6、優(yōu)選的，本專利技術(shù)提供的系統(tǒng)還包括其他技術(shù)特征，其中所述日志數(shù)據(jù)篩選子模塊在用戶需要進(jìn)行日志數(shù)據(jù)篩選前，在篩選配置文件中設(shè)定篩選字段信息，篩選配置文件采用json格式，篩選字段信息設(shè)定一個(gè)或多個(gè)，篩選字段使用的名稱，來自于解析配置模板中設(shè)定的解析字段名稱，兩者需要保持一致才能在日志數(shù)據(jù)存儲(chǔ)模塊階段正確進(jìn)行日志數(shù)據(jù)的篩選。
7、優(yōu)選的，本專利技術(shù)提供的系統(tǒng)還包括其他技術(shù)特征，其中日志信息查詢模塊包含日志信息比對和查詢結(jié)果輸出兩個(gè)子模塊，其中日志信息比對模塊，用于檢查日志數(shù)據(jù)中是否有符合設(shè)定條件的日志記錄，主要用于進(jìn)行日志分析，查詢結(jié)果輸出模塊，提供用戶訪問數(shù)據(jù)庫中的日志信息的接口，對外提供所有字段表項(xiàng)的查詢接口，以及獲取日志分析結(jié)果的接口，用戶通過接口獲取任意日志信息和比對結(jié)果，并支持以csv、xml和json等多種格式導(dǎo)出查詢結(jié)果。
8、優(yōu)選的，本專利技術(shù)提供的系統(tǒng)還包括其他技術(shù)特征，其中所述日志信息查詢結(jié)果輸出模塊對日志數(shù)據(jù)的過濾，采用的是name/data的形式進(jìn)行成對配置的，用戶通過設(shè)定一對或多對比對條件，輸入給日志信息比對子模塊進(jìn)行比對條件解析，再根據(jù)解析出來的比對條件對所有的日志信息進(jìn)行判斷，自動(dòng)將匹配之后的日志信息過濾出來，同時(shí)將比本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，包括：
2.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，所述解析配置文件，用于描述需要待解析的日志數(shù)據(jù)報(bào)文的協(xié)議層字段信息，采用JSON格式解析配置文件，用于描述各字段信息,?每種格式可以包含字段名稱、類型、長度等信息，支持通過配置文件對各種日志報(bào)文協(xié)議層字段進(jìn)行定義，報(bào)文字段信息的改動(dòng)也可以通過重載解析配置文件快速地應(yīng)用到正在運(yùn)行的程序。
3.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，解析配置文件字段信息格式定義，能預(yù)設(shè)多種格式日志報(bào)文的解析模塊，或臨時(shí)動(dòng)態(tài)調(diào)整解析配置文件，當(dāng)程序初始化啟動(dòng)時(shí)，會(huì)加載解析配置文件；或當(dāng)解析配置文件改動(dòng)時(shí)，會(huì)觸發(fā)解析配置文件重新加載，此時(shí)會(huì)根據(jù)解析配置文件，讀取配置文件中設(shè)定的解析字段信息，這些信息包括解析字段名稱、字段類型和字段長度，通過日志配置文件解析模塊，將通過配置文件描述的協(xié)議層，轉(zhuǎn)換成日志報(bào)文協(xié)議層解析結(jié)構(gòu)，供下一階段的日志報(bào)文解析模塊使用。
4.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備
5.如權(quán)利要求4所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，所述日志數(shù)據(jù)篩選子模塊在用戶需要進(jìn)行日志數(shù)據(jù)篩選前，在篩選配置文件中設(shè)定篩選字段信息，篩選配置文件采用JSON格式，篩選字段信息設(shè)定一個(gè)或多個(gè)，篩選字段使用的名稱，來自于解析配置模板中設(shè)定的解析字段名稱，兩者需要保持一致才能在日志數(shù)據(jù)存儲(chǔ)模塊階段正確進(jìn)行日志數(shù)據(jù)的篩選。
6.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，日志信息查詢模塊包含日志信息比對和查詢結(jié)果輸出兩個(gè)子模塊，其中日志信息比對模塊，用于檢查日志數(shù)據(jù)中是否有符合設(shè)定條件的日志記錄，主要用于進(jìn)行日志分析，查詢結(jié)果輸出模塊，提供用戶訪問數(shù)據(jù)庫中的日志信息的接口，對外提供所有字段表項(xiàng)的查詢接口，以及獲取日志分析結(jié)果的接口，用戶通過接口獲取任意日志信息和比對結(jié)果，并支持以csv、xml和json等多種格式導(dǎo)出查詢結(jié)果。
7.如權(quán)利要求6所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，所述日志信息查詢結(jié)果輸出模塊對日志數(shù)據(jù)的過濾，采用的是name/data的形式進(jìn)行成對配置的，用戶通過設(shè)定一對或多對比對條件，輸入給日志信息比對子模塊進(jìn)行比對條件解析，再根據(jù)解析出來的比對條件對所有的日志信息進(jìn)行判斷，自動(dòng)將匹配之后的日志信息過濾出來，同時(shí)將比對結(jié)果存儲(chǔ)在數(shù)據(jù)庫中，供用戶隨時(shí)查看歷時(shí)比對數(shù)據(jù)。
8.一種采用如權(quán)利要求1-7任一所述系統(tǒng)的網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析方法，其特征在于，所述方法步驟如下：
...【技術(shù)特征摘要】
1.一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，包括：
2.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，所述解析配置文件，用于描述需要待解析的日志數(shù)據(jù)報(bào)文的協(xié)議層字段信息，采用json格式解析配置文件，用于描述各字段信息,?每種格式可以包含字段名稱、類型、長度等信息，支持通過配置文件對各種日志報(bào)文協(xié)議層字段進(jìn)行定義，報(bào)文字段信息的改動(dòng)也可以通過重載解析配置文件快速地應(yīng)用到正在運(yùn)行的程序。
3.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，解析配置文件字段信息格式定義，能預(yù)設(shè)多種格式日志報(bào)文的解析模塊，或臨時(shí)動(dòng)態(tài)調(diào)整解析配置文件，當(dāng)程序初始化啟動(dòng)時(shí)，會(huì)加載解析配置文件；或當(dāng)解析配置文件改動(dòng)時(shí)，會(huì)觸發(fā)解析配置文件重新加載，此時(shí)會(huì)根據(jù)解析配置文件，讀取配置文件中設(shè)定的解析字段信息，這些信息包括解析字段名稱、字段類型和字段長度，通過日志配置文件解析模塊，將通過配置文件描述的協(xié)議層，轉(zhuǎn)換成日志報(bào)文協(xié)議層解析結(jié)構(gòu)，供下一階段的日志報(bào)文解析模塊使用。
4.如權(quán)利要求1所述的一種網(wǎng)絡(luò)分流設(shè)備上接口流量日志報(bào)文解析系統(tǒng)，其特征在于，日志數(shù)據(jù)存儲(chǔ)模塊包含有日志數(shù)據(jù)篩選子模塊和日志數(shù)據(jù)處理子模塊兩部分，通過數(shù)據(jù)篩選子模塊預(yù)先設(shè)定的篩選字段，去除部分不需保留的字段信息之后，再通過日志數(shù)據(jù)處理子模塊，按照特定的數(shù)據(jù)格式進(jìn)行日志數(shù)據(jù)格式化，并將重組之后的格式化日志數(shù)據(jù)寫入到數(shù)據(jù)庫中。
5.如權(quán)利要求4所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：金晶，
申請(專利權(quán))人：恒為科技上海股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。