一種實時數據容錯處理方法及系統技術方案

本發明專利技術實施例公開了一種實時數據容錯處理方法及系統。通過為業務在系統中部署至少兩個實例，每個實例分配對應的物理資源，每個實例中的每個節點在其它實例中具有對等節點，當系統中的節點處理業務的實時數據發生故障時，根據節點對應的物理資源確定節點所在的實例，在確定的實例中，將故障拉起節點替換發生故障的節點，在聯結信息表中更新發生故障的節點為故障拉起節點，根據聯結信息表中的對等節點信息，將發生故障的節點的對等節點的緩存數據發送給故障拉起節點，以使故障拉起節點恢復數據處理，該系統可以統一管理實時數據處理，且能保證節點發生故障時，恢復該節點宕機前的狀態，快速地重新接入系統。

Real time data fault tolerance processing method and system

The embodiment of the invention discloses a real-time data fault tolerance processing method and system. The business in the system to deploy at least two instances, each instance of the corresponding physical resource allocation, each node in each instance with peers in other instances, real-time data processing system in the business when the node failure, according to the node corresponding to the physical resources to determine the instance node, in determining the in the example, will pull up the fault nodes to replace faulty nodes in connection, update node failure information table for fault nodes according to the link information table up, in the peer information cache data sending peer node will fail to pull up the fault node node, in order to make up the data processing node fault recovery the system can be unified management, real-time data processing, and can ensure the node failure, restore the node downtime before the state quickly. Re access system.

【技術實現步驟摘要】
一種實時數據容錯處理方法及系統
本專利技術涉及實時計算領域，尤其涉及一種實時數據容錯處理方法及系統。
技術介紹
在金融、電信、能源、醫療等領域內，很多業務系統都有“7*24小時”業務連續性要求，任何原因造成的業務中斷是不可接受的。這種行業性高容錯要求催生了雙活系統的誕生，即通過提供冗余系統元素確保在出現各種故障時系統維持業務連續性，確保在故障發生時確保數據完整性和系統功能的特性。當然，雙活系統的資源消耗一直是該解決方案的詬病所在，在采用雙活系統解決方案時，需要準備兩套獨立的資源，同時在業務運行中，兩套獨立系統分別對自己的運行單元進行部署、管理和維護。目前業界廣泛采用實時流計算平臺來構建實時在線系統的架構解決方案，其中實時流計算組件又以Storm的應用最為廣泛。Storm是一個免費開源、分布式、高容錯的實時計算系統。Storm經常用于在實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。Storm的部署管理非常簡單，且在同類的流式計算工具，Storm的性能也是非常出眾的，是一般搭建實時計算系統架構的首先方案。Storm的進程是無狀態的，這樣便于實現快速失敗，保障Storm的健壯性。Storm不提供保存節點緩存的狀態數據的功能支持，如此當某一節點宕機之后，Storm只需要拉起該節點服務，無需加載狀態數據，即可實現快速失敗和恢復的HA機制保護。但是，在時下各行業的業務需求中，經常出現需要保存狀態數據的業務場景，在該場景中，節點不支持恢復狀態數據的功能是不可接受的。它們迫切需求在故障宕機恢復之后，能夠保證該節點加載故障前的狀態數據，恢復成該節點宕機前的狀態，如此才能夠快速的重新接入系統，響應數據處理請求，承擔業務處理。
技術實現思路
本專利技術實施例提供一種實時數據容錯處理方法及系統，以統一管理實時數據處理，且能保證節點發生故障時，恢復該節點宕機前的狀態。第一方面，提供了一種實時數據容錯處理方法，包括：當系統中的節點處理業務的實時數據發生故障時，根據所述節點對應的物理資源確定所述節點所在的實例，其中，所述業務在所述系統中部署至少兩個實例，每個實例包括具有拓撲關系的至少一個節點，每個實例分配對應的物理資源，每個實例中的所述至少一個節點與被分配的物理資源具有對應關系，每個實例中的每個節點在其它實例中具有對等節點；在所述確定的實例中，將故障拉起節點替換發生故障的節點；在聯結信息表中更新所述發生故障的節點為所述故障拉起節點，其中，所述聯結信息表包括所述至少兩個實例中的對等節點信息；根據所述對等節點信息，將所述發生故障的節點的對等節點的緩存數據發送給所述故障拉起節點，以使所述故障拉起節點根據接收到的所述緩存數據恢復所述節點的數據處理。該系統可以統一管理實時數據處理，且能保證節點發生故障時，恢復該節點宕機前的狀態，快速地重新接入系統。結合第一方面，在第一方面的第一種可能的實現方式中，所述方法還包括：控制每個實例中的所述至少一個節點分別處理所述實時數據。各個實例在自己獨立支配的物理資源上進行分布式部署，保證在各自實例中節點間的實時數據只能在同一個實例中進行流通。結合第一方面，在第一方面的第二種可能的實現方式中，所述被分配的物理資源包括至少一個物理機，每個實例中的所述至少一個節點與被分配的物理資源具有對應關系，包括：每個所述物理機與所述至少一個節點對應。結合第一方面或第一方面的第一種可能的實現方式或第一方面的第二種可能的實現方式，在第一方面的第三種可能的實現方式中，所述方法還包括：當所述系統為所述業務增加物理資源時，將增加的所述物理資源分配給所述業務的至少兩個實例。結合第一方面的第三種可能的實現方式，在第一方面的第四種可能的實現方式中，所述方法還包括：將每個實例中負載高于設定值的物理資源對應的至少一個節點的實時數據遷移至分配給所述實例的增加的所述物理資源對應的至少一個節點；或將每個所述實例增加的所述物理資源分配給所述故障拉起節點。對于每個實例增加的物理資源，可以根據分配給節點的物理資源的負載進行節點的實時數據的遷移，以保證負載均衡，使物理資源得到均衡利用；也可以直接將每個實例增加的物理資源分配給新的故障拉起節點，操作簡單。結合第一方面或第一方面的第一種可能的實現方式或第一方面的第二種可能的實現方式，在第一方面的第五種可能的實現方式中，所述方法還包括：當需要減少實例中的物理資源時，停止所述減少的物理資源對應的節點的實時數據處理；將故障拉起節點替換所述停止處理實時數據的節點，其中所述實例中剩下的物理資源被重新分配給所述實例中正在進行實時數據處理的至少一個節點；在所述聯結信息表中更新所述停止處理實時數據的節點為所述故障拉起節點；根據所述對等節點信息，將所述停止處理實時數據的節點的對等節點的緩存數據發送給所述故障拉起節點。對于減少每個實例的物理資源時，必須停止減少的物理資源對應的節點的實時數據處理，并將故障拉起節點替換停止處理實時數據的節點，以保證數據處理不被物理資源的減少所中斷。第二方面，提供了一種實時數據容錯處理系統，該系統具有實現上述方法中系統行為的功能。所述功能可以通過硬件執行相應的軟件實現。所述軟件包括一個或多個與上述功能相對應的模塊。該實時數據容錯處理系統包括：確定單元，用于當系統中的節點處理業務的實時數據發生故障時，根據所述節點對應的物理資源確定所述節點所在的實例，其中，所述業務在所述系統中部署至少兩個實例，每個實例包括具有拓撲關系的至少一個節點，每個實例分配對應的物理資源，每個實例中的所述至少一個節點與被分配的物理資源具有對應關系，每個實例中的每個節點在其它實例中具有對等節點；替換單元，用于在所述確定的實例中，將故障拉起節點替換發生故障的節點；更新單元，用于在聯結信息表中更新所述發生故障的節點為所述故障拉起節點，其中，所述聯結信息表包括所述至少兩個實例中的對等節點信息；發送單元，用于根據所述對等節點信息，將所述發生故障的節點的對等節點的緩存數據發送給所述故障拉起節點，以使所述故障拉起節點根據接收到的所述緩存數據恢復所述節點的數據處理。實施本專利技術實施例提供的一種實時數據容錯處理方法及系統，具有如下有益效果：通過為業務在系統中部署至少兩個實例，每個實例分配對應的物理資源，每個實例中的每個節點在其它實例中具有對等節點，當系統中的節點處理業務的實時數據發生故障時，根據節點對應的物理資源確定節點所在的實例，在確定的實例中，將故障拉起節點替換發生故障的節點，在聯結信息表中更新發生故障的節點為故障拉起節點，根據聯結信息表中的對等節點信息，將發生故障的節點的對等節點的緩存數據發送給故障拉起節點，以使故障拉起節點恢復數據處理，該系統可以統一管理實時數據處理，且能保證節點發生故障時，恢復該節點宕機前的狀態，快速地重新接入系統。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術實施例提供的一種實時數據容錯處理方法的流程示意圖；圖2為示例的現有的Storm應用運行示意圖；圖3為本發本文檔來自技高網...

【技術保護點】
一種實時數據容錯處理方法，其特征在于，包括：當系統中的節點處理業務的實時數據發生故障時，根據所述節點對應的物理資源確定所述節點所在的實例，其中，所述業務在所述系統中部署至少兩個實例，每個實例包括具有拓撲關系的至少一個節點，每個實例分配對應的物理資源，每個實例中的所述至少一個節點與被分配的物理資源具有對應關系，每個實例中的每個節點在其它實例中具有對等節點；在所述確定的實例中，將故障拉起節點替換發生故障的節點；在聯結信息表中更新所述發生故障的節點為所述故障拉起節點，其中，所述聯結信息表包括所述至少兩個實例中的對等節點信息；根據所述對等節點信息，將所述發生故障的節點的對等節點的緩存數據發送給所述故障拉起節點，以使所述故障拉起節點根據接收到的所述緩存數據恢復所述節點的數據處理。

【技術特征摘要】
1.一種實時數據容錯處理方法，其特征在于，包括：當系統中的節點處理業務的實時數據發生故障時，根據所述節點對應的物理資源確定所述節點所在的實例，其中，所述業務在所述系統中部署至少兩個實例，每個實例包括具有拓撲關系的至少一個節點，每個實例分配對應的物理資源，每個實例中的所述至少一個節點與被分配的物理資源具有對應關系，每個實例中的每個節點在其它實例中具有對等節點；在所述確定的實例中，將故障拉起節點替換發生故障的節點；在聯結信息表中更新所述發生故障的節點為所述故障拉起節點，其中，所述聯結信息表包括所述至少兩個實例中的對等節點信息；根據所述對等節點信息，將所述發生故障的節點的對等節點的緩存數據發送給所述故障拉起節點，以使所述故障拉起節點根據接收到的所述緩存數據恢復所述節點的數據處理。2.如權利要求1所述的方法，其特征在于，還包括：控制每個實例中的所述至少一個節點分別處理所述實時數據。3.如權利要求1所述的方法，其特征在于，所述被分配的物理資源包括至少一個物理機，每個實例中的所述至少一個節點與被分配的物理資源具有對應關系，包括：每個所述物理機與所述至少一個節點對應。4.如權利要求1-3任意一項所述的方法，其特征在于，所述方法還包括：當所述系統為所述業務增加物理資源時，將增加的所述物理資源分配給所述業務的至少兩個實例。5.如權利要求4所述的方法，其特征在于，所述方法還包括：將每個實例中負載高于設定值的物理資源對應的至少一個節點的實時數據遷移至分配給所述實例的增加的所述物理資源對應的至少一個節點；或將每個所述實例增加的所述物理資源分配給所述故障拉起節點。6.如權利要求1-3任意一項所述的方法，其特征在于，所述方法還包括：當需要減少實例中的物理資源時，停止所述減少的物理資源對應的節點的實時數據處理；將故障拉起節點替換所述停止處理實時數據的節點，其中所述實例中剩下的物理資源被重新分配給所述實例中正在進行實時數據處理的至少一個節點；在所述聯結信息表中更新所述停止處理實時數據的節點為所述故障拉起節點；根據所述對等節點信息，將所述停止處理實時數據的節點的對等節點的緩存數據發送給所述故障拉起節點。7.一種實時數據容錯處理系統，其特征在于，包括：確定單元，用于當系統中的節點處理業務的實...

【專利技術屬性】
技術研發人員：單衛華，林銘，殷暉，李旭良，
申請(專利權)人：華為技術有限公司，
類型：發明
國別省市：廣東,44