大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)，包括各節(jié)點(diǎn)服務(wù)端和節(jié)點(diǎn)客戶端，節(jié)點(diǎn)客戶端包括節(jié)點(diǎn)讀取模塊，節(jié)點(diǎn)信息解析模塊，參數(shù)輸入模塊，節(jié)點(diǎn)組裝模塊，節(jié)點(diǎn)信息接收模塊和節(jié)點(diǎn)統(tǒng)計(jì)模塊；各節(jié)點(diǎn)服務(wù)端包括監(jiān)聽節(jié)點(diǎn)客戶端的監(jiān)聽模塊，用于接收節(jié)點(diǎn)客戶端連接請(qǐng)求的請(qǐng)求信號(hào)接收模塊，接收日志查詢請(qǐng)求的日志信號(hào)接收模塊，解析出查詢請(qǐng)求中包含參數(shù)的參數(shù)解析模塊，根據(jù)參數(shù)信息對(duì)日志進(jìn)行查找過濾的查找過濾模塊和將查詢到符合要求日志返回節(jié)點(diǎn)客戶端的查詢?nèi)罩拘畔⒒貍髂K。本發(fā)明專利技術(shù)解決了大規(guī)模集群系統(tǒng)下，各節(jié)點(diǎn)日志難以查看的問題，使用更加方便快捷且實(shí)用性更強(qiáng)。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)屬于分布式系統(tǒng)
，具體涉及一種大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)。
技術(shù)介紹
—個(gè)大規(guī)模集群中通常都包括了成百甚至上千個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)中都運(yùn)行著給集群提供服務(wù)的軟件，通常都會(huì)生成自己的日志文件，用于記錄出錯(cuò)信息，運(yùn)行狀態(tài)，執(zhí)行過程等。對(duì)于日志文件的查看，一般都是直接通過文本編輯工具打開日志文件，人為地搜索查看其中的信息，并且只能單個(gè)節(jié)點(diǎn)，單個(gè)日志地查看。在大規(guī)模集群下，當(dāng)面對(duì)如此多的節(jié)點(diǎn)，以及不同的日志文件，人為登陸節(jié)點(diǎn)進(jìn)行日志查看的方法會(huì)顯得效率低下，在節(jié)點(diǎn)眾多的情況下變得不可行。
技術(shù)實(shí)現(xiàn)思路
為了解決上述技術(shù)問題，本專利技術(shù)的目的是提供一種可以在大規(guī)模集群下方便快捷的查看各個(gè)節(jié)點(diǎn)不同日志的大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)。實(shí)現(xiàn)本專利技術(shù)目的的技術(shù)方案是:一種大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)，包括集群中節(jié)點(diǎn)中布置了日志抓取和展示工具的各節(jié)點(diǎn)服務(wù)端和需要查詢?nèi)罩咀ト『驼故竟ぞ叩墓?jié)點(diǎn)客戶端，所述節(jié)點(diǎn)客戶端包括讀取包含集群節(jié)點(diǎn)和日志配置文件的節(jié)點(diǎn)讀取模塊，解析出日志名稱對(duì)應(yīng)節(jié)點(diǎn)地址、日志時(shí)間和存放路徑的節(jié)點(diǎn)信息解析模塊，用于輸入開始時(shí)間參數(shù)、結(jié)束時(shí)間參數(shù)和過濾時(shí)間參數(shù)的參數(shù)輸入模塊，用于將輸入?yún)?shù)組裝為查詢請(qǐng)求發(fā)送到配置文件中對(duì)應(yīng)節(jié)點(diǎn)地址上的節(jié)點(diǎn)組裝模塊，用于接收來自各節(jié)點(diǎn)服務(wù)端應(yīng)答的節(jié)點(diǎn)信息接收模塊和對(duì)各節(jié)點(diǎn)返回信息進(jìn)行會(huì)總并按展示所有日志及日志在各節(jié)點(diǎn)中出現(xiàn)次數(shù)的節(jié)點(diǎn)統(tǒng)計(jì)模塊;所述各節(jié)點(diǎn)服務(wù)端包括監(jiān)聽節(jié)點(diǎn)客戶端的監(jiān)聽模塊，用于接收節(jié)點(diǎn)客戶端連接請(qǐng)求的請(qǐng)求信號(hào)接收模塊，接收日志查詢請(qǐng)求的日志信號(hào)接收模塊，解析出查詢請(qǐng)求中包含參數(shù)的參數(shù)解析模塊，根據(jù)參數(shù)信息對(duì)日志進(jìn)行查找過濾的查找過濾模塊和將查詢到符合要求日志返回節(jié)點(diǎn)客戶端的查詢?nèi)罩拘畔⒒貍髂K。日志配置文件由集群地址描述、日志文件時(shí)間格式描述和日志名稱描述，所述集群地址描述包括各節(jié)點(diǎn)地址，包括多個(gè)不同集群地址描述；所述日志文件時(shí)間格式描述包括多個(gè)不同日志文件時(shí)間格式描述；所述日志名稱描述包括日志存儲(chǔ)地址、中描述的日專所在集群和中描述的日志文件時(shí)間格式。所述各節(jié)點(diǎn)服務(wù)端還包括去重模塊。所述去重模塊的去重步驟具體如下:A)、去掉日志記錄中的動(dòng)態(tài)信息；B)、計(jì)算去掉動(dòng)態(tài)信息后的日志記錄的校驗(yàn)值，如果校驗(yàn)值相同則判斷為同一條日志，如果校驗(yàn)值不同則判斷為不是同一條日志；C)、根據(jù)校驗(yàn)值查看是否已出現(xiàn)過，如果已出現(xiàn)則將當(dāng)前處理的日志記錄所在節(jié)點(diǎn)的出現(xiàn)次數(shù)加一，如果未出現(xiàn)過則在出現(xiàn)記錄中加入此校驗(yàn)值，并將所在節(jié)點(diǎn)出現(xiàn)次數(shù)設(shè)為I，其余節(jié)點(diǎn)設(shè)置為O;D)、重復(fù)步驟A，并最終統(tǒng)計(jì)所有日志及在各節(jié)點(diǎn)上的出現(xiàn)次數(shù)并展示。在步驟A中，動(dòng)態(tài)信息為用于記錄日志的變量信息，包括十進(jìn)制純數(shù)字信息、OX開頭的十六進(jìn)制信息、中括號(hào)中的信息、大括號(hào)中的信息、以“.com“結(jié)尾的網(wǎng)址信息、IP信息和文件路徑名信息。本專利技術(shù)具有積極的效果:本專利技術(shù)解決了大規(guī)模集群系統(tǒng)下，各節(jié)點(diǎn)日志難以查看的問題，通過此專利技術(shù)，可以便捷地對(duì)多節(jié)點(diǎn)下的日志信息進(jìn)行查看；同時(shí)與其它現(xiàn)有技術(shù)各節(jié)點(diǎn)日志查看系統(tǒng)不同的是，現(xiàn)有技術(shù)各節(jié)點(diǎn)日志查看系統(tǒng)都是直接將各節(jié)點(diǎn)的日志集中放入數(shù)據(jù)庫，或者是放入專門的集群文件系統(tǒng)，如HDFS進(jìn)行集中存儲(chǔ)，會(huì)加重系統(tǒng)負(fù)擔(dān)和建立額外的存儲(chǔ)系統(tǒng)，增加系統(tǒng)復(fù)雜度;而本專利技術(shù)中的日志是存放在各個(gè)節(jié)點(diǎn)上的，就是使用得最多，最原始的文件記錄，通過對(duì)這些文件的處理，在不增加系統(tǒng)復(fù)雜度，不額外使用存儲(chǔ)設(shè)備的情況下，來完成多節(jié)點(diǎn)日志的查詢，使用更加方便快捷且實(shí)用性更強(qiáng)?！靖綀D說明】為了使本專利技術(shù)的內(nèi)容更容易被清楚的理解，下面根據(jù)具體實(shí)施例并結(jié)合附圖，對(duì)本專利技術(shù)作進(jìn)一步詳細(xì)的說明，其中:圖1為本專利技術(shù)的大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)的結(jié)構(gòu)示意圖；圖2為本專利技術(shù)的日志抓取和展示工具的處理流程圖；圖3為本專利技術(shù)的日志處理和過濾處理流程圖；圖4為本專利技術(shù)中去重模塊的流程圖?！揪唧w實(shí)施方式】(實(shí)施例1)圖1至圖3顯示了本專利技術(shù)的一種【具體實(shí)施方式】，其中圖1為本專利技術(shù)的大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)的結(jié)構(gòu)示意圖；圖2為本專利技術(shù)的日志抓取和展示工具的處理流程圖；圖3為本專利技術(shù)的日志處理和過濾處理流程圖；圖4為本專利技術(shù)中去重模塊的流程圖。見圖1至圖4，一種大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)，包括集群中節(jié)點(diǎn)中布置了日志抓取和展示工具的各節(jié)點(diǎn)服務(wù)端I和需要查詢?nèi)罩咀ト『驼故竟ぞ叩墓?jié)點(diǎn)客戶端2，所述節(jié)點(diǎn)客戶端2包括讀取包含集群節(jié)點(diǎn)和日志配置文件的節(jié)點(diǎn)讀取模塊21，解析出日志名稱對(duì)應(yīng)節(jié)點(diǎn)地址、日志時(shí)間和存放路徑的節(jié)點(diǎn)信息解析模塊22，用于輸入開始時(shí)間參數(shù)、結(jié)束時(shí)間參數(shù)和過濾時(shí)間參數(shù)的參數(shù)輸入模塊23，用于將輸入?yún)?shù)組裝為查詢請(qǐng)求發(fā)送到配置文件中對(duì)應(yīng)節(jié)點(diǎn)地址上的節(jié)點(diǎn)組裝模塊24，用于接收來自各節(jié)點(diǎn)服務(wù)端應(yīng)答的節(jié)點(diǎn)信息接收模塊25和對(duì)各節(jié)點(diǎn)返回信息進(jìn)行會(huì)總并按展示所有日志及日志在各節(jié)點(diǎn)中出現(xiàn)次數(shù)的節(jié)點(diǎn)統(tǒng)計(jì)模塊26;所述各節(jié)點(diǎn)服務(wù)端I包括監(jiān)聽節(jié)點(diǎn)客戶端的監(jiān)聽模塊11，用于接收節(jié)點(diǎn)客戶端連接請(qǐng)求的請(qǐng)求信號(hào)接收模塊12，接收日志查詢請(qǐng)求的日志信號(hào)接收模塊13，解析出查詢請(qǐng)求中包含參數(shù)的參數(shù)解析模塊14，根據(jù)參數(shù)信息對(duì)日志進(jìn)行查找過濾的查找過濾模塊15和將查詢到符合要求日志返回節(jié)當(dāng)前第1頁1 2 本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種大規(guī)模集群下各節(jié)點(diǎn)日志的抓取和展示系統(tǒng)，包括集群中節(jié)點(diǎn)中布置了日志抓取和展示工具的各節(jié)點(diǎn)服務(wù)端和需要查詢?nèi)罩咀ト『驼故竟ぞ叩墓?jié)點(diǎn)客戶端，其特征在于：所述節(jié)點(diǎn)客戶端包括讀取包含集群節(jié)點(diǎn)和日志配置文件的節(jié)點(diǎn)讀取模塊，解析出日志名稱對(duì)應(yīng)節(jié)點(diǎn)地址、日志時(shí)間和存放路徑的節(jié)點(diǎn)信息解析模塊，用于輸入開始時(shí)間參數(shù)、結(jié)束時(shí)間參數(shù)和過濾時(shí)間參數(shù)的參數(shù)輸入模塊，用于將輸入?yún)?shù)組裝為查詢請(qǐng)求發(fā)送到配置文件中對(duì)應(yīng)節(jié)點(diǎn)地址上的節(jié)點(diǎn)組裝模塊，用于接收來自各節(jié)點(diǎn)服務(wù)端應(yīng)答的節(jié)點(diǎn)信息接收模塊和對(duì)各節(jié)點(diǎn)返回信息進(jìn)行會(huì)總并按展示所有日志及日志在各節(jié)點(diǎn)中出現(xiàn)次數(shù)的節(jié)點(diǎn)統(tǒng)計(jì)模塊；所述各節(jié)點(diǎn)服務(wù)端包括監(jiān)聽節(jié)點(diǎn)客戶端的監(jiān)聽模塊，用于接收節(jié)點(diǎn)客戶端連接請(qǐng)求的請(qǐng)求信號(hào)接收模塊，接收日志查詢請(qǐng)求的日志信號(hào)接收模塊，解析出查詢請(qǐng)求中包含參數(shù)的參數(shù)解析模塊，根據(jù)參數(shù)信息對(duì)日志進(jìn)行查找過濾的查找過濾模塊和將查詢到符合要求日志返回節(jié)點(diǎn)客戶端的查詢?nèi)罩拘畔⒒貍髂K。

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：武新，崔維力，李南峰，
申請(qǐng)(專利權(quán))人：天津南大通用數(shù)據(jù)技術(shù)股份有限公司，
類型：發(fā)明
國別省市：天津;12