分布式消息系統及擴容方法技術方案

本發明專利技術提供了一種分布式消息系統及擴容方法，所述系統包括：集群資源監控模塊，用于實時監控代理端的硬件資源使用信息，并統計所述代理端的資源使用超標率，在所述代理端的資源使用超標率達到閾值時發出擴容請求；集群資源管理模塊，用于接收所述集群資源監控模塊發送的擴容請求，根據所述擴容請求計算擴容所需資源，并發出資源均衡請求；負載均衡通知模塊，用于接收所述集群資源管理模塊發送的所述資源均衡請求，向消息發送端和消息接收端所監聽的公共地址發起資源變更操作，將所述擴容所需資源記錄在所述公共地址上。本發明專利技術可實現自動擴容。

Distributed message system and expansion method

The present invention provides a distributed information system and expansion method, the system includes: a cluster resource monitoring module for real-time monitoring of the proxy client hardware resource usage information, and statistics of the agent resource usage rate exceed the standard, issued at the request of the expansion agent using the resources of the exceeding standard rate reaches a threshold; cluster resource management module is used for receiving the cluster resource monitoring module sends the request to the expansion, according to the request of computing resources required for expansion expansion, and a balanced resource request; load balance notification module for the resource cluster resource management module receives the request sent to the message sender and the message receiver monitor the public address change initiated operation, the expansion of the resources required to record in the public address. The invention can realize automatic expansion.

【技術實現步驟摘要】

本專利技術涉及計算機
，特別是涉及一種分布式消息系統及擴容方法。
技術介紹
分布式消息系統服務，是一種同時在不同的計算機上提供消息的臨時存儲和消息的分發功能的服務。參見圖1，為分布式消息系統架構示意圖，整個系統包括消息發送端集群101、代理集群102和消息接收端集群103，其中，消息發送端集群101包括多個消息發送端1011、1012、1013…，代理集群102包括多個代理端1021、1022…，消息接收端集群103包括多個消息接受端1031、1032、1033…。消息發送端(生產者或Producer)構造出不同主題的消息，發往局域網中部署有消息系統服務的代理端(Broker)上進行臨時存儲，消息接收端(消費者或Customer)根據自身訂閱的主題從該消息系統集群中獲得對應的消息進行后續加工。分布式消息系統的特點在于消息服務分布在多臺計算機上，通過容錯機制達到高可用，通過負載均衡策略支撐高吞吐。但是在實際應用環境下，分布式消息系統服務缺少自動化擴容的功能。隨著業務量的增長，消息系統的服務會逐漸無法支撐越來越大的吞吐，此時需要運維人員根據消息系統服務的負載，并預估未來負載進行擴容。這種擴容方式至少存在如下缺陷：首先，需要運維人員觀察系統負載，在確認當前分布式消息系統服務可能會無法支撐當下負載后，再進行人工消息系統集群計算機資源的擴容，人工操作存在誤操作的風險；其次，未來業務量的增長并非是能夠準確預估的量，從而導致這種人工擴容操作可能需要頻繁進行；最后，擴容過程中每新添一個新服務就會發生一次全集群的負載均衡，多次負載均衡有可能造成服務不穩定。專利技術內容為了提高對分布式消息系統進行擴容的準確性和穩定性，本專利技術實施例提供一種分布式消息系統及擴容方法。根據本專利技術實施例的一個方面，提供一種分布式消息系統，包括消息發送端集群、代理集群和消息接收端集群，其中，消息發送端集群包括多個消息發送端，代理集群包括多個代理端，消息接收端集群包括多個消息接收端，所述系統還包括：集群資源監控模塊，用于實時監控所述代理端的硬件資源使用信息，并統計所述代理端的資源使用超標率，在所述代理端的資源使用超標率達到閾值時發出擴容請求；集群資源管理模塊，用于接收所述集群資源監控模塊發送的擴容請求，根據所述擴容請求計算擴容所需資源，并發出資源均衡請求；負載均衡通知模塊，用于接收所述集群資源管理模塊發送的所述資源均衡請求，向消息發送端和消息接收端所監聽的公共地址發起資源變更操作，將所述擴容所需資源記錄在所述公共地址上。優選的，所述集群資源監控模塊包括集群資源監控客戶端和集群資源監控服務端，其中，所述集群資源監控客戶端部署在所述代理端，用于實時監控所述代理端的硬件資源使用信息，并將所監控到的硬件資源使用信息上報給所述集群資源監控服務端；所述集群資源監控服務端用于根據所述硬件資源使用信息統計所述代理端的資源使用超標率，并在所述代理端的資源使用超標率達到閾值時所發出擴容請求。優選的，所述集群資源監控客戶端監控的所述代理端的硬件資源使用信息包括：CPU使用率、物理內存使用率、磁盤空間使用率、磁盤I/O吞吐量，和/或，網卡I/O吞吐量；所述集群資源監控服務端以時間為維度，統計出所述代理端上各項硬件資源使用信息的超標率，在任一個硬件資源使用信息的超標率超過預置的閾值時，即發出擴容請求。優選的，所述集群資源管理模塊以一臺代理端資源為基準，計算代理端集群擴容請求的時間間隔，如果時間間隔低于預定標準值，判定集群擴容頻率為高，則確定所述擴容所需資源為預置擴容給定資源的預置倍數。優選的，所述集群資源管理模塊根據虛擬化技術，虛擬化出所述擴容所需資源。優選的，所述代理端在監聽到所述資源變更操作后，執行負載均衡操作，并更新本地的集群信息緩存。根據本專利技術實施例的另一個方面，提供一種分布式消息系統擴容方法，分布式消息系統包括消息發送端集群、代理集群和消息接收端集群，其中，消息發送端集群包括多個消息發送端，代理集群包括多個代理端，消息接收端集群包括多個消息接收端，所述方法包括：實時監控所述代理端的硬件資源使用信息，并統計所述代理端的資源使用超標率；在所述代理端的資源使用超標率達到閾值時，計算擴容所需資源；向消息發送端和消息接收端所監聽的公共地址發起資源變更操作，將所述擴容所需資源記錄在所述公共地址上。優選的，所述代理端的硬件資源使用信息包括：CPU使用率、物理內存使用率、磁盤空間使用率、磁盤I/O吞吐量，和/或，網卡I/O吞吐量；所述方法還包括：確定所述代理端的資源使用超標率是否達到閾值，包括：以時間為維度，統計出所述代理端上各項硬件資源使用信息的超標率，在任一個硬件資源使用信息的超標率超過預置的閾值時，即確定所述代理端的資源使用超標率達到閾值。優選的，所述計算擴容所需資源包括：以一臺代理端資源為基準，計算代理端集群擴容請求的時間間隔，如果時間間隔低于預定標準值，判定集群擴容頻率為高，則確定所述擴容所需資源為預置擴容給定資源的預置倍數。優選的，所述方法還包括：通過虛擬化技術，虛擬化出所述擴容所需資源。優選的，所述方法還包括：所述代理端在監聽到所述資源變更操作后，執行負載均衡操作，并更新本地的集群信息緩存。可見，本專利技術實施例提供的分布式消息系統，通過新增的三個模塊協同工作，可實現自動擴容。具體的，通過集群資源監控模塊監測代理端的硬件資源使用情況，從而自動檢測分布式消息系統服務的負載，并根據代理端硬件資源使用率判斷是否需要擴容，達到自動判定擴容時機的目的，而無需人工監控；在擴容階段通過集群資源管理模塊計算出擴容所需資源，并通過負載均衡資源通知模塊發起資源更新操作。通過本專利技術實體例提供的分布式消息系統可自動完成擴容，無需人工監控和操作，可有效避免人工操作繁瑣、不準確、效率低下等問題。附圖說明圖1是現有技術中分布式消息系統結構示意圖；圖2是本專利技術一個實施例提供的一種分布式消息系統結構示意圖；圖3是本專利技術一個實施例提供的一種分布式消息系統中各模塊邏輯處理示意圖；圖4是本專利技術一個實施例提供的一種分布式消息系統的擴容方法流程圖。具體實施方式為使本專利技術的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本專利技術作進一步詳細的說明。參見圖2，為分布式消息系統架構示意圖。現有的分布式消息系統包括消息發送端集群201、代理集群202和消息接收端集群203，代理集群202負責消息的存儲和傳遞。其中，消息發送端集群201包括多個消息發送端2011、2012、2013…，代理集群202包括多個代理端2021、2022…，消息接收端集群203包括多個消息接受端2031、2032、2033…。消息發送端(生產者或Producer)構造出不同主題的消息，發往局域網中部署有消息系統服務的代理端(Broker)上進行臨時存儲，消息接收端(消費者或Customer)根據自身訂閱的主題從該消息系統集群中獲得對應的消息進行后續加工。一般情況下，分布式消息系統還包括NameServer集群(圖中未示出)，NameServer集群或稱為zookeeper，由多臺計算機組成，用于提供名稱服務等協調信息(例如公共地址)。消息發送端和消息接收端都會時刻監聽公共地址上的數據，如果公共地址上的本文檔來自技高網...

【技術保護點】
一種分布式消息系統，包括消息發送端集群、代理集群和消息接收端集群，其中，所述消息發送端集群包括多個消息發送端，代理集群包括多個代理端，消息接收端集群包括多個消息接收端，其特征在于，所述系統還包括：集群資源監控模塊，用于實時監控所述代理端的硬件資源使用信息，并統計所述代理端的資源使用超標率，在所述代理端的資源使用超標率達到閾值時發出擴容請求；集群資源管理模塊，用于接收所述集群資源監控模塊發送的擴容請求，根據所述擴容請求計算擴容所需資源，并發出資源均衡請求；負載均衡通知模塊，用于接收所述集群資源管理模塊發送的所述資源均衡請求，向消息發送端和消息接收端所監聽的公共地址發起資源變更操作，將所述擴容所需資源記錄在所述公共地址上。

【技術特征摘要】
1.一種分布式消息系統，包括消息發送端集群、代理集群和消息接收端集群，其中，所述消息發送端集群包括多個消息發送端，代理集群包括多個代理端，消息接收端集群包括多個消息接收端，其特征在于，所述系統還包括：集群資源監控模塊，用于實時監控所述代理端的硬件資源使用信息，并統計所述代理端的資源使用超標率，在所述代理端的資源使用超標率達到閾值時發出擴容請求；集群資源管理模塊，用于接收所述集群資源監控模塊發送的擴容請求，根據所述擴容請求計算擴容所需資源，并發出資源均衡請求；負載均衡通知模塊，用于接收所述集群資源管理模塊發送的所述資源均衡請求，向消息發送端和消息接收端所監聽的公共地址發起資源變更操作，將所述擴容所需資源記錄在所述公共地址上。2.根據權利要求1所述的系統，其特征在于，所述集群資源監控模塊包括集群資源監控客戶端和集群資源監控服務端，其中，所述集群資源監控客戶端部署在所述代理端，用于實時監控所述代理端的硬件資源使用信息，并將所監控到的硬件資源使用信息上報給所述集群資源監控服務端；所述集群資源監控服務端用于根據所述硬件資源使用信息統計所述代理端的資源使用超標率，并在所述代理端的資源使用超標率達到閾值時發出擴容請求。3.根據權利要求2所述的系統，其特征在于，所述集群資源監控客戶端監控的所述代理端的硬件資源使用信息包括：CPU使用率、物理內存使用率、磁盤空間使用率、磁盤I/O吞吐量，和/或，網卡I/O吞吐量；所述集群資源監控服務端以時間為維度，統計出所述代理端上各項硬件資源使用信息的超標率，在任一個硬件資源使用信息的超標率超過預置的閾值時，發出擴容請求。4.根據權利要求1、2或3任一項所述的系統，其特征在于，所述集群資源管理模塊以一臺代理端資源為基準，計算代理端集群擴容請求的時間間隔，如果時間間隔低于預定標準值，判定集群擴容頻率為高，則確定所述擴容所需資源為預置...

【專利技術屬性】
技術研發人員：虞開元，
申請(專利權)人：北京奇藝世紀科技有限公司，
類型：發明
國別省市：北京;11