一種日志監(jiān)控方法及系統(tǒng)技術(shù)方案

本發(fā)明專(zhuān)利技術(shù)公開(kāi)了一種日志監(jiān)控方法及系統(tǒng)，包括：實(shí)時(shí)獲取當(dāng)前生成的指定主題的日志；并采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的該日志進(jìn)行分類(lèi)；以及在監(jiān)控界面展示該日志以及該日志所屬的類(lèi)別。采用本發(fā)明專(zhuān)利技術(shù)實(shí)施例提供的方案，實(shí)現(xiàn)了對(duì)日志的實(shí)時(shí)分類(lèi)監(jiān)控，提高了對(duì)日志管理的效率。

【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及日志處理
，尤其涉及一種日志監(jiān)控方法及系統(tǒng)。
技術(shù)介紹
目前，在計(jì)算機(jī)領(lǐng)域中，通常會(huì)對(duì)已經(jīng)處理的操作進(jìn)行記錄，生成處理日志，用于后續(xù)能夠從記錄的處理日志中了解已經(jīng)進(jìn)行的操作情況，以及還可以根據(jù)記錄的處理日志確定相應(yīng)的后續(xù)操作策略。然而，在現(xiàn)有日志處理技術(shù)中，通常只是將生成的日志進(jìn)行存儲(chǔ)，日志管理人員在使用日志時(shí)，可以根據(jù)自身的需要對(duì)存儲(chǔ)的日志進(jìn)行查詢，獲取所需日志。 上述方案需要日志管理人員對(duì)于存儲(chǔ)的日志內(nèi)容比較熟悉，而且頻繁的通過(guò)命令篩選的方式進(jìn)行查詢，對(duì)于處理資源的消耗較大，且無(wú)法及時(shí)了解最新生成日志的情況，從而導(dǎo)致對(duì)日志管理的效率較低。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)實(shí)施例提供一種日志監(jiān)控方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中存在的對(duì)日志管理效率較低的問(wèn)題。本專(zhuān)利技術(shù)實(shí)施例提供一種日志監(jiān)控方法，包括實(shí)時(shí)獲取當(dāng)前生成的指定主題的日志；采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的所述日志進(jìn)行分類(lèi)；在監(jiān)控界面展示所述日志以及所述日志所屬的類(lèi)別。本專(zhuān)利技術(shù)實(shí)施例還提供一種日志監(jiān)控系統(tǒng)，包括日志采集服務(wù)器、日志中心服務(wù)器、日志分類(lèi)服務(wù)器和日志監(jiān)控服務(wù)器，其中所述日志采集服務(wù)器，用于實(shí)時(shí)生成日志，并對(duì)生成的日志進(jìn)行主題劃分，以及將劃分了主題的日志推送給所述日志中心服務(wù)器；所述日志中心服務(wù)器，用于將指定主題的日志發(fā)送給所述日志分類(lèi)服務(wù)器；并接收所述日志分類(lèi)服務(wù)器返回的指定主題的日志所屬的類(lèi)別；以及將指定主題的日志以及該日志所屬的類(lèi)別發(fā)送給日志監(jiān)控服務(wù)器；所述日志分類(lèi)服務(wù)器，用于采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)接收的指定主題的日志進(jìn)行分類(lèi)，并將指定主題的日志所屬的類(lèi)別返回給所述日志中心服務(wù)器；所述日志監(jiān)控服務(wù)器，用于在監(jiān)控界面展示接收的指定主題的日志以及該日志所屬的類(lèi)別。本專(zhuān)利技術(shù)有益效果包括本專(zhuān)利技術(shù)實(shí)施例提供的方法日志監(jiān)控方法中，將生成的日志劃分不同的主題，針對(duì)指定主題的日志進(jìn)行實(shí)時(shí)獲取，并采用非監(jiān)督分類(lèi)算法，基于該指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的該日志進(jìn)行分類(lèi)，然后在監(jiān)控界面展示該日志以及該日志所屬的類(lèi)別，供日志管理人員查看，從而實(shí)現(xiàn)了對(duì)當(dāng)前生成的日志的實(shí)時(shí)分類(lèi)監(jiān)控，避免了日志管理人員的主動(dòng)查詢，進(jìn)而提高了對(duì)日志管理的效率。附圖說(shuō)明附圖用來(lái)提供對(duì)本專(zhuān)利技術(shù)的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本專(zhuān)利技術(shù)實(shí)施例一起用于解釋本專(zhuān)利技術(shù)，并不構(gòu)成對(duì)本專(zhuān)利技術(shù)的限制。在附圖中圖I為本專(zhuān)利技術(shù)實(shí)施例 提供的日志監(jiān)控方法的流程圖；圖2為本專(zhuān)利技術(shù)實(shí)施例I提供的日志監(jiān)控方法的流程圖；圖3為本專(zhuān)利技術(shù)實(shí)施例2提供的日志監(jiān)控系統(tǒng)的結(jié)構(gòu)示意圖。具體實(shí)施例方式為了給出提高日志管理效率的實(shí)現(xiàn)方案，本專(zhuān)利技術(shù)實(shí)施例提供了一種日志監(jiān)控方法及系統(tǒng)，以下結(jié)合說(shuō)明書(shū)附圖對(duì)本專(zhuān)利技術(shù)的優(yōu)選實(shí)施例進(jìn)行說(shuō)明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說(shuō)明和解釋本專(zhuān)利技術(shù)，并不用于限定本專(zhuān)利技術(shù)。并且在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。本專(zhuān)利技術(shù)實(shí)施例提供一種日志監(jiān)控方法，如圖I所示，包括步驟101、實(shí)時(shí)獲取當(dāng)前生成的指定主題的日志。步驟102、采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的該日志進(jìn)行分類(lèi)。步驟103、在監(jiān)控界面展示該日志以及該日志所屬的類(lèi)別。下面結(jié)合附圖，用具體實(shí)施例對(duì)本專(zhuān)利技術(shù)提供的方法及系統(tǒng)進(jìn)行詳細(xì)描述。實(shí)施例I :圖2為本專(zhuān)利技術(shù)實(shí)施例I提供的日志監(jiān)控方法的流程圖，具體包括如下處理步驟步驟201、對(duì)當(dāng)前生成的日志進(jìn)行主題劃分。本步驟中，對(duì)于當(dāng)前最新生成的日志，將其劃分到預(yù)先設(shè)置的各主題之一中，例如，可以針對(duì)處理不同業(yè)務(wù)應(yīng)用生成的日志進(jìn)行主題劃分，將屬于同一業(yè)務(wù)應(yīng)用的日志劃分為同一個(gè)主題，也可以針對(duì)處理不同類(lèi)型的操作生成的日志進(jìn)行主題劃分，將屬于同一類(lèi)型操作的日志劃分為同一個(gè)主題。 具體的，可以在生成的日志中添加主題標(biāo)識(shí)，完成對(duì)日志的主題劃分。步驟202、實(shí)時(shí)獲取當(dāng)前生成的指定主題的日志。本步驟中，對(duì)于已劃分主題的日志，確定其所屬主題是否為指定主題，如果是，則針對(duì)該日志進(jìn)入后續(xù)對(duì)其進(jìn)行分類(lèi)的處理操作，如果不是，則可以存儲(chǔ)到數(shù)據(jù)庫(kù)中，以便后續(xù)查詢使用，或者，也可以直接忽略不做任何操作。指定主題可以為滿足日志分類(lèi)推送條件的主題，日志分類(lèi)推送條件可以由日志管理人員根據(jù)監(jiān)控的需要進(jìn)行靈活設(shè)置。步驟203、采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的指定主題的該日志進(jìn)行分類(lèi)，具體可以如下在執(zhí)行本步驟之前，可以采用非監(jiān)督分類(lèi)算法建立指定主題對(duì)應(yīng)的分類(lèi)模型，具體可以包括選擇出已生成的該指定主題的多個(gè)日志，作為該指定主題的樣本日志；并基于該指定主題的日志的實(shí)際特性，確定該指定主題對(duì)應(yīng)的日志特征向量提取方式；然后按照確定的該指定主題對(duì)應(yīng)的日志特征向量提取方式，對(duì)該指定主題的樣本日志進(jìn)行特征提取，得到每個(gè)樣本日志的特征向量；然后基于每個(gè)樣本日志的特征向量對(duì)這多個(gè)樣本日志進(jìn)行聚類(lèi)處理，將得到的聚類(lèi)結(jié)果所包括的各類(lèi)別作為該指定主題所包括的類(lèi)別；并根據(jù)每個(gè)類(lèi)別所包括的樣本日志確定該類(lèi)別的特征向量，從而完成該指定主題對(duì)應(yīng)的分類(lèi)模型的建立。本步驟中，針對(duì)待分類(lèi)的該指定主題的該日志，具體可以采用如下步驟對(duì)其進(jìn)行分類(lèi)，包括步驟A :按照該指定主題對(duì)應(yīng)的日志特征向量提取方式，對(duì)獲取的該指定主題的該日志進(jìn)行特征向量提取，得到該日志的特征向量； 步驟B:從指定主題對(duì)應(yīng)的分類(lèi)模型包括的各類(lèi)別的特征向量中，確定與該日志的特征向量相匹配的特征向量；其中，相匹配的條件可以根據(jù)實(shí)際需要進(jìn)行靈活設(shè)置，例如，可以分別確定各類(lèi)別的特征向量與該日志的特征向量之間的相關(guān)性，并將相關(guān)性最高的特征向量對(duì)應(yīng)的類(lèi)別確定為相匹配的特征向量；又如，還可以進(jìn)一步的確定相關(guān)性最高的特征向量與該日志的特征向量之間的相關(guān)性，是否達(dá)到設(shè)定相關(guān)性閾值，如果達(dá)到，則將該相關(guān)性最高的特征向量對(duì)應(yīng)的類(lèi)別確定為相匹配的特征向量，否則，確定不存在相匹配的特征向量；步驟C :將相匹配的特征向量對(duì)應(yīng)的類(lèi)別確定為該日志歸屬的類(lèi)別。本步驟中，如果未能夠?qū)@取的待分類(lèi)的該指定主題的該日志，分配到該指定主題對(duì)應(yīng)的分類(lèi)模型包括的已有各類(lèi)別中時(shí)，可以將該日志作為樣本日志，與原有樣本日志一起作為建立分類(lèi)模型的樣本日志，重新建立指定主題對(duì)應(yīng)的分類(lèi)模型，該重新建立的過(guò)程即相當(dāng)于重新學(xué)習(xí)的過(guò)程，具體過(guò)程參考上述模型建立方式，在此不再進(jìn)行詳細(xì)描述。對(duì)于新建立的分類(lèi)模型所包括的類(lèi)別，可以建立與原分類(lèi)模型所包括的類(lèi)別的映射關(guān)系，以便能夠?qū)⒁逊诸?lèi)的日志對(duì)應(yīng)到新建立的分類(lèi)模型所包括的類(lèi)別中。本專(zhuān)利技術(shù)實(shí)施例中，所采用的非監(jiān)督分類(lèi)算法可以為現(xiàn)有技術(shù)中的各種非監(jiān)督分類(lèi)算法，例如，GMM (Gaussian Mixture Modules,高斯混合模型)算法。步驟204、在對(duì)獲取的指定主題的該日志進(jìn)行分類(lèi)后，即可以在監(jiān)控界面實(shí)時(shí)展示該日志以及該日志所屬的類(lèi)別，以供日志管理人員瀏覽，從而實(shí)現(xiàn)對(duì)日志的實(shí)時(shí)分類(lèi)監(jiān)控。較靈活的，日志管理人員可以根據(jù)實(shí)際需要設(shè)置意圖監(jiān)控的主題，相應(yīng)的，僅針對(duì)該設(shè)置的主題的日志進(jìn)行展示。進(jìn)一步的，本專(zhuān)利技術(shù)實(shí)施例I中，為了能夠讓日志管理人員監(jiān)控到更多的日志變化信息，還可以包括如下處理步驟步驟205、分別統(tǒng)計(jì)設(shè)定周期內(nèi)生成的指定主題的每個(gè)類(lèi)別的日志的數(shù)量，并在監(jiān)控界面進(jìn)行展示。其中，該設(shè)定周期可以根據(jù)實(shí)際需要進(jìn)行靈活設(shè)置，也可以設(shè)置多個(gè)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種日志監(jiān)控方法，其特征在于，包括：實(shí)時(shí)獲取當(dāng)前生成的指定主題的日志；采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的所述日志進(jìn)行分類(lèi)；在監(jiān)控界面展示所述日志以及所述日志所屬的類(lèi)別。

【技術(shù)特征摘要】
1.一種日志監(jiān)控方法，其特征在于，包括 實(shí)時(shí)獲取當(dāng)前生成的指定主題的日志； 采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的所述日志進(jìn)行分類(lèi)； 在監(jiān)控界面展示所述日志以及所述日志所屬的類(lèi)別。2.如權(quán)利要求I所述的方法，其特征在于，還包括 分別統(tǒng)計(jì)設(shè)定周期內(nèi)生成的指定主題的每個(gè)類(lèi)別的日志的數(shù)量； 在監(jiān)控界面分別針對(duì)每個(gè)類(lèi)別展示統(tǒng)計(jì)的該類(lèi)別的日志的數(shù)量；和/或，當(dāng)統(tǒng)計(jì)的一個(gè)類(lèi)別的日志的數(shù)量大于設(shè)定數(shù)量閾值時(shí)，進(jìn)行報(bào)警。3.如權(quán)利要求2所述的方法，其特征在于，在分別統(tǒng)計(jì)設(shè)定周期內(nèi)生成的指定主題的每個(gè)類(lèi)別的日志的數(shù)量之后，還包括 分別統(tǒng)計(jì)設(shè)定周期內(nèi)生成的指定主題的每個(gè)類(lèi)別的日志的數(shù)量的增長(zhǎng)率； 在監(jiān)控界面分別針對(duì)每個(gè)類(lèi)別展示統(tǒng)計(jì)的該類(lèi)別的日志的數(shù)量的增長(zhǎng)率；和/或，當(dāng)統(tǒng)計(jì)的一個(gè)類(lèi)別的日志的數(shù)量的增長(zhǎng)率大于設(shè)定增長(zhǎng)率閾值時(shí)，進(jìn)行報(bào)警。4.如權(quán)利要求I所述的方法，其特征在于，采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)獲取的所述日志進(jìn)行分類(lèi)，具體包括 按照指定主題對(duì)應(yīng)的日志特征向量提取方式，對(duì)獲取的所述日志進(jìn)行特征向量提取，得到所述日志的特征向量； 從指定主題對(duì)應(yīng)的分類(lèi)模型包括的各類(lèi)別的特征向量中，確定與所述日志的特征向量相匹配的特征向量，其中，所述各類(lèi)別各自的特征向量為基于指定主題的樣本日志確定的； 將相匹配的特征向量對(duì)應(yīng)的類(lèi)別確定為所述日志歸屬的類(lèi)別。5.一種日志監(jiān)控系統(tǒng),其特征在于,包括日志米集服務(wù)器、日志中心服務(wù)器、日志分類(lèi)服務(wù)器和日志監(jiān)控服務(wù)器，其中 所述日志采集服務(wù)器，用于實(shí)時(shí)生成日志，并對(duì)生成的日志進(jìn)行主題劃分，以及將劃分了主題的日志推送給所述日志中心服務(wù)器； 所述日志中心服務(wù)器，用于將指定主題的日志發(fā)送給所述日志分類(lèi)服務(wù)器；并接收所述日志分類(lèi)服務(wù)器返回的指定主題的日志所屬的類(lèi)別；以及將指定主題的日志以及該日志所屬的類(lèi)別發(fā)送給日志監(jiān)控服務(wù)器； 所述日志分類(lèi)服務(wù)器，用于采用非監(jiān)督分類(lèi)算法，基于指定主題對(duì)應(yīng)的分類(lèi)模型，對(duì)接收的指定主題的日志進(jìn)行分類(lèi)，并將指定主題的日志所屬的類(lèi)別...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：顧淼，夏帆，張曉龍，符慶明，張鵬，
申請(qǐng)(專(zhuān)利權(quán))人：新浪網(wǎng)技術(shù)中國(guó)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：