網絡集群實時監控方法和系統技術方案

本發明專利技術提供了一種網絡集群實時監控方法，所述網絡集群包括多個網絡資源，所述方法包括：使用第一多個采集模塊從所述多個網絡資源采集數據，并將數據發送到第一消息隊列或消息隊列集群；從第二多個過濾模塊中選擇一個過濾模塊，根據過濾規則，對所述第一消息隊列或消息隊列集群中的數據執行過濾處理，以識別需要處理的數據，并將需要處理的數據發送到第二消息隊列或消息隊列集群；以及從第三多個通知模塊中選擇一個第三模塊，針對所述第二消息隊列或消息隊列集群中的需要處理的數據，根據預先設置的處理方法進行處理。本發明專利技術還提供了一種網絡集群實時監控系統。

【技術實現步驟摘要】

本專利技術總體上涉及網絡集群，更具體地，涉及一種網絡集群的實時監控方法和系統。
技術介紹
在網絡集群、特別是大規模網絡集群中，大量的服務器、虛擬機以及各種資源需要進行管理，以便在其發生問題時，能夠及時告警和實現自動化處理。現有的技術方案包括對數據進行采集，然后將其發送給中心服務器。中心服務器將數據與設定的規則進行閾值匹配，并在發現問題時進行告警處理。但是，這種技術方案難以實現大規模的橫向擴展。當集群規模大到一定程度，中心服務器會成為系統短板，不能根據集群規模進行線性擴展。同時，這種方案的匹配規則過于簡單。而且，這種方案的告警方式局限于郵件和短信告警，然后由運維人員進行處理，自動化程度低。
技術實現思路
本專利技術的一個方面提供了一種網絡集群實時監控方法，所述網絡集群包括多個網絡資源，所述方法包括：使用第一多個采集模塊從所述多個網絡資源采集數據，并將數據發送到第一消息隊列或消息隊列集群；從第二多個過濾模塊中選擇一個過濾模塊，根據過濾規則，對所述第一消息隊列或消息隊列集群中的數據執行過濾處理，以識別需要處理的數據，并將需要處理的數據發送到第二消息隊列或消息隊列集群；以及從第三多個通知模塊中選擇一個第三模塊，針對所述第二消息隊列或消息隊列集群中的需要處理的數據，根據預先設置的處理方法進行處理。本專利技術的另一個方面提供了一種網絡集群實時監控系統，所述網絡集群包括多個網絡資源，所述系統包括：第一多個采集模塊，用于從所述多個網絡資源采集數據，并將數據發送到第一消息隊列或消息隊列集群；第二多個過濾模塊，用于根據過濾規則，對所述第一消息隊列或消息隊列集群中的數據執行過濾處理，以識別需要處理的數據，并將需要處理的數據發送到第二消息隊列或消息隊列集群；以及第三多個通知模塊，用于針對所述第二消息隊列或消息隊列集群中需要處理的數據，根據預先設置的處理方法進行處理，其中：針對第一消息隊列或消息隊列集群中的每個消息，選擇第二多個過濾模塊中的一個過濾模塊進行過濾處理；以及針對第二消息隊列或消息隊列集群中的每個消息，選擇第三多個通知模塊中的一個通知模塊進行過濾處理。附圖說明為了更完整地理解本專利技術及其優勢，現在將參考結合附圖的以下描述，其中：圖1示意性示出了根據本專利技術實施例的網絡集群實時監控系統的框圖；圖2示意性示出了根據本專利技術實施例的過濾模塊的工作流程圖；以及圖3示意性示出了過濾模塊將數據與過濾規則匹配的流程圖。具體實施方式根據結合附圖對本專利技術示例性實施例的以下詳細描述，本專利技術的其它方面、優勢和突出特征對于本領域技術人員將變得顯而易見。在本專利技術中，術語“包括”和“含有”及其派生詞意為包括而非限制；術語“或”是包含性的，意為和/或。在本說明書中，下述用于描述本專利技術原理的各種實施例只是說明，不應該以任何方式解釋為限制專利技術的范圍。參照附圖的下述描述用于幫助全面理解由權利要求及其等同物限定的本專利技術的示例性實施例。下述描述包括多種具體細節來幫助理解，但這些細節應認為僅僅是示例性的。因此，本領域普通技術人員應認識到，在不背離本專利技術的范圍和精神的情況下，可以對本文中描述的實施例進行多種改變和修改。此外，為了清楚和簡潔起見，省略了公知功能和結構的描述。此外，貫穿附圖，相同參考數字用于相似功能和操作。圖1示意性示出了根據本專利技術實施例的網絡集群實時監控系統100的框圖。該系統100包括N個采集模塊1-1到1-N、M個過濾模塊2-1到2-M，以及P個通知模塊3-1到3-P，其中N、M和P是大于等于1的整數。每個采集模塊連接到網絡集群200中的一個或多個網絡資源。這里，網絡資源例如包括服務器、虛擬機、容器、路由器、交換機、防火墻、負載均衡服務器等。通過采集模塊、過濾模塊和通知模塊的協同操作，實現對網絡集群中的實時監控。采集模塊采集可選地，系統100還包括第一消息隊列或消息隊列集群4和第二消息隊列或消息隊列集群5。所有的采集模塊與同一個第一消息隊列或同一個第一消息隊列集群通信。后端所有的過濾模塊則負責監視這個第一消息隊列或消息隊列集群。當有采集數據發送到第一消息隊列或消息隊列集群時，系統將會從后端的若干個過濾模塊中隨機選擇一個過濾模塊，將第一消息隊列或消息隊列集群中的消息發送給該模塊予以處理。類似地，所有的過濾模塊與同一個第二消息隊列或同一個第二消息隊列集群通信。所有的通知模塊則負責監視這個第二消息隊列或消息隊列集群。當有數據發送到第二消息隊列或消息隊列集群時，系統將會從后端的若干個通知模塊中隨機選擇一個通知模塊，將第二消息隊列或消息隊列集群中的消息發送給該模塊予以處理。除了隨機方式之外，還可以根據預先設置的規則來選擇過濾模塊和/或通知模塊，例如根據各模塊的當前負載狀態、設備或網絡性能、狀態，或預先設置的優先級等。以下分別描述每個模塊執行的操作。采集模塊采集模塊有兩種工作方式：定時輪詢和實時推送。輪詢工作方式主要針對的是定時上報的數據，如CPU使用率、磁盤使用率、內存使用率、消息隊列長度等。這種數據主要用以表征網絡集群中的網絡資源的性能、狀態等。采集模塊定時從資源中采集相應的數據，發送到消息隊列中。推送工作方式主要針對的是事件型的數據，如日志等。這種數據主要用以描述某個事件。采集模塊實時監控網絡資源推送的事件狀態，當發生狀態轉移(如事件發生，或者事件結束)時，采集模塊生成對應數據，發送到第一消息隊列或消息隊列集群中。過濾模塊過濾模塊根據過濾規則，對第一消息隊列或消息隊列集群中來自于采集模塊的數據執行過濾處理。過濾規則主要包括數據的類型、指標、過濾條件、過濾方法，以及處理方法等。數據類型指示數據是用于描述哪種類型的資源監控信息，如CPU使用率等。指標是指數據的單位，如CPU使用率的單位為％。過濾條件指示該條過濾規則的適用范圍。例如，如果過濾條件為判斷數據來源是來自于服務器A。那么只有當接收到的數據是來自于服務器A且數據的數據類型與規則的數據類型一致時，該條規則才可能被匹配。如果過濾條件為空，則所有數據類型與規則的數據類型一致的數據被接收時，該條規則都將被匹配。過濾方法主要是指對于數據和預設的標準閾值進行比對，判斷是否達到需要處理(例如告警)的標準。由于數據不僅僅是數字，還可以是事件，所以過濾方法對于數字型的數據可進行包括大于、小于等比較操作，而對于事件數據可以支本文檔來自技高網...

【技術保護點】
一種網絡集群實時監控方法，所述網絡集群包括多個網絡資源，所述方法包括：使用第一多個采集模塊從所述多個網絡資源采集數據，并將數據發送到第一消息隊列或消息隊列集群；從第二多個過濾模塊中選擇一個過濾模塊，根據過濾規則，對所述第一消息隊列或消息隊列集群中的數據執行過濾處理，以識別需要處理的數據，并將需要處理的數據發送到第二消息隊列或消息隊列集群；以及從第三多個通知模塊中選擇一個第三模塊，針對所述第二消息隊列或消息隊列集群中的需要處理的數據，根據預先設置的處理方法進行處理。

【技術特征摘要】
1.一種網絡集群實時監控方法，所述網絡集群包括多個網絡資
源，所述方法包括：
使用第一多個采集模塊從所述多個網絡資源采集數據，并將數據
發送到第一消息隊列或消息隊列集群；
從第二多個過濾模塊中選擇一個過濾模塊，根據過濾規則，對所
述第一消息隊列或消息隊列集群中的數據執行過濾處理，以識別需要
處理的數據，并將需要處理的數據發送到第二消息隊列或消息隊列集
群；以及
從第三多個通知模塊中選擇一個第三模塊，針對所述第二消息隊
列或消息隊列集群中的需要處理的數據，根據預先設置的處理方法進
行處理。
2.根據權利要求1所述的方法，其中，所述多個網絡資源包括以
下中的一種或多種：服務器、虛擬機、容器、路由器、交換機、防火
墻、以及負載均衡器。
3.根據權利要求1所述的方法，其中，從所述多個網絡資源采集
數據包括：
從所述多個網絡資源定時輪詢數據；以及
接收由所述多個網絡資源實時推送的數據。
4.根據權利要求3所述的方法，其中：
定時輪詢的數據包括以下中的一種或多種：CPU使用率、磁盤使
用率、內存使用率、和網絡資源中的消息隊列長度；以及
實時推送的數據包括事件型的數據。
5.根據權利要求1所述的方法，其中，過濾規則包括數據類型和
過濾條件，還包括以下的一項或多項：數據的指標、過濾方法、以及
處理方法，其中：
數據類型指示數據是用于描述哪種類型的資源監控信息；
過濾條件指示該條過濾規則的適用范圍；
數據的指標是數據的單位；以及
過濾方法對于數字型的數據包括比較操作，對于事件數據包括關
鍵字提取和判斷操作。
6.根據權利要求1所述的方法，其中，根據過濾規則，對第一消
息隊列或消息隊列集群中的數據執行過濾處理包括：
在步驟S1，從第一消息隊列或消息隊列集群接收數據；
在步驟S2，根據數據的數據類型和相關元數據，以及過濾規則的
數據類型和過濾條件，將過濾規則與數據進行匹配，從而找到與數據
匹配的過濾規則；以及
在步驟S3，將數據和與之匹配的過濾規則利用過濾方法進行比
對，判斷該數據是否會觸發相應處理，所述過濾方法對于數字型的數
據包括比較操作，對于事件數據包括關鍵字提取和判斷操作。
7.根據權利要求6所述的方法，其中，步驟S2包括：
步驟F1，根據數據的數據類型，從過濾規則中找到與該數據類型
一致的過濾規則，得到第一規則集合；以及
步驟F2，根據數據的相關元數據，在第一規則集合中找到過濾條
件與該元數據相匹配的過濾規則，得到第二規則集合，該第二規則集
合中的過濾規則是與數據匹配的過濾規則。
8.根據權利要求1所述的方法，其中預定處理包括以下的一種或
多種：短信告警、郵件告警、以及通過調用基礎系統的應用程序界面
API來觸發網絡集群的擴展或收縮。
9.根據權利要求1所述的方法，其中：
過濾規則存儲在規則庫中；以及
對規則庫中的過濾規則建立索引以及/或者使用內存數據庫。
10.根據權利要求1所述的方法，其中對過濾模塊和通知模塊的選
擇分別是隨機或以預定方式進行的。
11.一種網絡集群實時監控系統，所述網絡集群包括多個網絡資
源，所述系統包括：
第一多個采集模塊，用于從所述多個網絡資源采集數據，并將數

\t據...

【專利技術屬性】
技術研發人員：徐新坤，
申請(專利權)人：北京京東尚科信息技術有限公司，北京京東世紀貿易有限公司，
類型：發明
國別省市：北京;11