流式計算系統中計算節點的故障處理技術方案

本發明專利技術的目的是提供一種用于流式計算系統中的故障處理的方法、裝置、計算節點和計算機程序產品。其中，在一個計算節點，記錄來自上游計算節點的各原始數據的到達順序；將所述各原始數據按照預定的周期進行持久化操作；當發生故障而重啟后，按照所記錄的到達順序從經持久化操作的原始數據和/或所述上游計算節點恢復內存中的待計算數據，并將所恢復的待計算數據按照其之前的到達順序進行重放和計算；將每條計算完畢的結果數據按照故障前上一持久化操作周期的結果數據的偏移量繼續編碼并發送至下一節點。與現有技術相比，本發明專利技術提供了一種在框架層實現的流式計算輸出結果不重不丟的容錯機制，可應對各種軟硬件故障，保證輸出結果的高準確性。

Fault handling of computing nodes in a streaming computing system

The object of the present invention is to provide a method, an apparatus, a computing node, and a computer program product for troubleshooting in a streaming computing system. Among them, the compute nodes in a, the original data records from the upstream of the compute nodes of the arrival order; the original data according to a predetermined period of persistent operation; when the failure and recovery after the restart, in accordance with the memory of the data to be calculated from the persistence operation of the original data and / or the upstream nodes arrival order records, and the recovery of data to be calculated and calculated according to the playback before arrival order; each calculated results according to the data before the failure of a persistent operating cycle and the number of results to offset according to the encoding and sent to the next node. Compared with the prior art, the invention provides a fault-tolerant mechanism for realizing the flow calculation in the frame layer without losing weight without output, and can cope with various hardware and software faults and guarantee the high accuracy of the output results.

【技術實現步驟摘要】
流式計算系統中計算節點的故障處理
本專利技術涉及流式計算
，尤其涉及一種用于流式計算系統中的故障處理技術。
技術介紹
目前而言，常見流式計算系統提供計算結果到傳輸系統三種可選語義：1)至多一次(atmostonce)：保證計算結果在計算過程中遇到節點故障后，計算恢復前后結算結果至多發送到傳輸系統一次。2)至少一次(atleastonce)：保證計算結果在計算過程中遇到節點故障后，計算恢復前后結算結果至少發送到傳輸系統一次。例如Strom。3)受限的嚴格一次(exactlyonce)：依賴計算結果發布的存儲支持update冪等功能，且update依據的key一般由業務方指定，實現計算結果直接記入存儲，不再支持結果繼續進行流式計算。例如Flink使用Cassandra作為存儲。至多一次(atmostonce)或者至少一次(atleastonce)只是嚴格一次(exactlyonce)某一個方面的實現保證。用戶使用中，只能選擇不重或者不丟來折中業務計算需求。受限的嚴格一次(exactlyonce)語義支持計算結果發布update冪等存儲，但是不支持后續計算結果繼續流式計算分析等復雜app級聯等業務場景。而在很多領域，例如金融、計費、反作弊、廣告等，業務場景天然需求數據計算至傳輸都保證不重不丟，以滿足精準的數據完整性需求，同時有復雜的業務計算場景，計算結果簡單存入update冪等存儲不能滿足需求。為此，用戶需要在業務層增加額外復雜的數據重放及校驗去重邏輯來保證計算數據結果的不重不丟，但是此方案對用戶要求很高，極易出現數據不一致等問題，增大了用戶的開發成本。而且，此種方案用戶間無法復用，無法形成流式計算框架層通用邏輯。
技術實現思路
本專利技術的目的是提供一種用于流式計算系統中的故障處理的方法、裝置、計算節點和計算機程序產品。根據本專利技術的一個方面，提供了一種用于流式計算系統中的故障處理方法，其中，在一個計算節點，該方法包括以下步驟：-記錄來自上游計算節點的各原始數據的到達順序；-將所述各原始數據按照預定的周期進行持久化操作；-當發生故障而重啟后，按照所記錄的到達順序從經持久化操作的原始數據和/或所述上游計算節點恢復內存中的待計算數據，并將所恢復的待計算數據按照其之前的到達順序進行重放和計算；-將每條計算完畢的結果數據按照故障前上一持久化操作周期的結果數據的偏移量繼續編碼并發送至下一節點。根據本專利技術的一個方面，還提供了一種用于流式計算系統中的故障處理裝置，其中，故障處理裝置被布置于所述流式計算系統中的一個計算節點中，該故障處理裝置包括：用于記錄來自上游計算節點的各原始數據的到達順序的裝置；用于將所述各原始數據按照預定的周期進行持久化操作的裝置；用于當發生故障而重啟后，按照所記錄的到達順序從經持久化操作的原始數據和/或所述上游計算節點恢復內存中的待計算數據，并將所恢復的待計算數據按照其之前的到達順序進行重放和計算的裝置；用于將每條計算完畢的結果數據按照故障前上一持久化操作周期的結果數據的偏移量繼續編碼并發送至下一節點的裝置。根據本專利技術的一個方面，還提供了一種流式計算系統中的計算節點，其中，該計算節點包括上述如根據本專利技術的一個方面所提供的一種用于流式計算系統中的故障處理裝置。根據本專利技術的一個方面，還提供了一種流式計算系統中的計算節點，其中，該計算節點包括存儲器和處理器，其中，所述存儲器中存儲有計算機程序指令，當所述處理器運行所述計算機程序指令時，上述如根據本專利技術的一個方面所提供的一種用于流式計算系統中的故障處理方法被執行。根據本專利技術的一個方面，還提供了一種計算機程序產品，所述計算機程序產品可以在流式計算系統中的計算節點中運行，當所述計算機程序產品被運行時，上述如根據本專利技術的一個方面所提供的一種用于流式計算系統中的故障處理方法被執行。與現有技術相比，本專利技術提供了一種在框架層實現的流式計算輸出結果不重不丟的容錯機制，通過流式計算系統的定期checkpoint機制、下游節點按發布偏移量去重以及“數據有序重放”機制，可應對各種軟硬件故障，保證輸出結果的高準確性。本專利技術可廣泛應用于對流式計算有嚴格不重不丟語義的領域，例如廣告、金融、反作弊等。在流式計算框架完成的實現，對用戶透明，即用戶通過使用本專利技術，無需額外開發或操作即可保證計算結果的高準確性。本專利技術無需用戶在業務層代碼增加額外復雜數據重放或校驗邏輯即可保證計算數據結果的exactlyonce語義，降低了用戶程序開發的復雜度，提高數據的準確性，拓寬了流式計算的應用場景。附圖說明通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本專利技術的其它特征、目的和優點將會變得更明顯：圖1示出根據本專利技術一個實施例的一種用于流式計算系統的故障處理方法的流程圖；圖2示出根據本專利技術一個實施例的一種用于流式計算系統的故障處理裝置的示意圖。附圖中相同或相似的附圖標記代表相同或相似的部件。具體實施方式在更加詳細地討論示例性實施例之前應當提到的是，一些示例性實施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各項操作描述成順序的處理，但是其中的許多操作可以被并行地、并發地或者同時實施。此外，各項操作的順序可以被重新安排。當其操作完成時所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應于方法、函數、規程、子例程、子程序等等。在上下文中所稱“計算機設備”，也稱為“電腦”，是指可以通過運行預定程序或指令來執行數值計算和/或邏輯計算等預定處理過程的智能電子設備，其可以包括處理器與存儲器，由處理器執行在存儲器中預存的程序指令來執行預定處理過程，或是由ASIC、FPGA、DSP等硬件執行預定處理過程，或是由上述二者組合來實現。計算機設備包括但不限于服務器、個人電腦(PC)、筆記本電腦、平板電腦、智能手機等。所述計算機設備例如包括用戶設備與網絡設備。其中，所述用戶設備包括但不限于個人電腦(PC)、筆記本電腦、移動終端等，所述移動終端包括但不限于智能手機、PDA等；所述網絡設備包括但不限于單個網絡服務器、多個網絡服務器組成的服務器組或基于云計算(CloudComputing)的由大量計算機或網絡服務器構成的云，其中，云計算是分布式計算的一種，由一群松散耦合的計算機集組成的一個超級虛擬計算機。其中，所述計算機設備可單獨運行來實現本專利技術，也可接入網絡并通過與網絡中的其他計算機設備的交互操作來實現本專利技術。其中，所述計算機設備所處的網絡包括但不限于互聯網、廣域網、城域網、局域網、VPN網絡等。需要說明的是，所述用戶設備、網絡設備和網絡等僅為舉例，其他現有的或今后可能出現的計算機設備或網絡如可適用于本專利技術，也應包含在本專利技術保護范圍以內，并以引用方式包含于此。本文后面所討論的方法(其中一些通過流程圖示出)可以通過硬件、軟件、固件、中間件、微代碼、硬件描述語言或者其任意組合來實施。當用軟件、固件、中間件或微代碼來實施時，用以實施必要任務的程序代碼或代碼段可以被存儲在機器或計算機可讀介質(比如存儲介質)中。(一個或多個)處理器可以實施必要的任務。這里所公開的具體結構和功能細節僅僅是代表性的，并且是用于描述本專利技術的示例性實施例的目的。但是本專利技術可以通過許多替換形式來具體實現，并且不應當被解釋成僅本文檔來自技高網...

【技術保護點】
一種用于流式計算系統中的故障處理方法，其中，在一個計算節點，該方法包括以下步驟：?記錄來自上游計算節點的各原始數據的到達順序；?將所述各原始數據按照預定的周期進行持久化操作；?當發生故障而重啟后，按照所記錄的到達順序從經持久化操作的原始數據和/或所述上游計算節點恢復內存中的待計算數據，并將所恢復的待計算數據按照其之前的到達順序進行重放和計算；?將每條計算完畢的結果數據按照故障前上一持久化操作周期的結果數據的偏移量繼續編碼并發送至下一節點。

【技術特征摘要】
1.一種用于流式計算系統中的故障處理方法，其中，在一個計算節點，該方法包括以下步驟：-記錄來自上游計算節點的各原始數據的到達順序；-將所述各原始數據按照預定的周期進行持久化操作；-當發生故障而重啟后，按照所記錄的到達順序從經持久化操作的原始數據和/或所述上游計算節點恢復內存中的待計算數據，并將所恢復的待計算數據按照其之前的到達順序進行重放和計算；-將每條計算完畢的結果數據按照故障前上一持久化操作周期的結果數據的偏移量繼續編碼并發送至下一節點。2.根據權利要求1所述的方法，其中，當發生故障而重啟后，首先獲取上一持久化操作周期的原始數據，并比較所獲取的原始數據的到達順序與所記錄的所述各原始數據的到達順序，以確定是否尚有丟失數據，如是，從所述丟失數據所來自的上游計算節點獲取所述丟失數據，從而恢復故障前內存中的待計算數據。3.根據權利要求1所述的方法，其中，根據故障前上一持久化操作周期的結果數據的偏移量進度信息，確定重啟后第一條計算完畢的結果數據的編碼偏移量。4.根據權利要求1至3中任一項所述的方法，其中，所述各原始數據的持久化操作通過checkpoint機制來按照預定的周期執行。5.根據權利要求4所述的方法，其中，所述各原始數據通過checkpoint機制被存儲于外部的分布式存儲系統，從而實現持久化操作。6.根據權利要求4所述的方法，其中，當發生故障而重啟后，首先從checkpoint點恢復上一周期的原始數據，并比較所獲取的原始數據的到達順序與所記錄的所述各原始數據的到達順序，以確定是否尚有丟失數據，如是，從所述丟失數據所來自的上游計算節點獲取所述丟失數據，從而恢復故障前內存中的待計算數據。7.根據權利要求4所述的方法，其中，當發生故障而重啟后，從checkpoint點恢復上一周期的結果數據的偏移量進度信息。8.根據權利要求1所述的方法，其中，所述下一節點包括當前計算節點的下級計算節點或外部傳輸系統。9.一種用于流式計算系統中的故障處理裝置，其中，故障處理裝置被布置于所述流式計算系統中的一個計算節點中，該故障處理裝置包括：用于記錄來自上游計算節點的各原始數據的到達順序的裝置；用于將所述各原始數據按照預定的周期進行持久化操作的裝置；用于當發生故障而重啟后，按照所記錄的到達順序...

【專利技術屬性】
技術研發人員：石然，程怡，張建偉，高偉康，
申請(專利權)人：北京百度網訊科技有限公司，
類型：發明
國別省市：北京,11