數據庫日志并行化制造技術

運行數據存儲應用中的多個事務，在運行過程中，將根據所述多個事務的日志條目(log?entry)存儲在多個日志緩沖區中。所述日志條目被順序寫入當前日志緩沖區并且根據輪轉分布將多個日志緩沖區寫入多個日志分區。之后，響應于數據恢復事件，日志緩沖區中的日志條目的順序列表被組合以生成日志，該日志可以被數據存儲應用用于數據恢復。還描述了相關的裝置、系統、技術和物件。

【技術實現步驟摘要】

這里描述的主題涉及用于生成能夠實現簡化的數據恢復的并行數據庫日志的技術。
技術介紹
傳統的數據庫一般使用日志記錄(logging)將對相應數據執行的操作以同步的方式存儲到日志中，而同時將數據異步地寫入相應的數據區中。在崩潰或其它數據恢復事件的情況下，數據區被恢復到可能較舊的狀態。回放(replaying)日志會將數據庫帶到最終提交狀態(last committed state)。因此,對于在線操作以及數據恢復來說，日志記錄是數據庫的重要的性能關鍵(performance-critical)的組件。
技術實現思路
在一個方面中，運行數據存儲應用中的多個事務。根據多個事務的日志條目(logentry)被存儲在多個日志緩沖區中。日志條目被順序寫入當前日志緩沖區并且根據輪轉分布(round-robin distribution)將多個日志緩沖區寫入多個日志分區(log partition)。之后，響應于數據恢復事件，日志緩沖區中的日志條目的順序列表被組合以生成日志，該日志可以被數據存儲應用用于數據恢復。本主題可以與各種數據存儲應用(包括但不限于內存數據庫(in-memorydatabase)) 一起操作。寫入單個日志分區的至少兩個日志緩沖區可以是非連續(non-consecutive)的(其是輪轉分布方案的產物(artifact))。每個日志緩沖區可以包括1/0結束標記，其指示與該日志緩沖區相關聯的輸入/輸出操作已經結束(即，該日志緩沖區已經被寫入相應的日志分區，等等)。每個日志緩沖區也可以包括先前的1/0結束標記,其指示輪轉分布中的緊前一個(immediatelypreceding)日志緩沖區已經被寫入相應的日志分區。每個日志緩沖區可以具有關聯的提交回調(commit callback)集合，使得在調用緊前一個日志緩沖區的提交回調的集合之后設置當前日志緩沖區中的先前1/0結束標記。可以在相應的1/0結束標記和先前的1/0結束標記都已經被設置時，將成功的提交調用告知每個日志緩沖區的提交回調集合。還描述了生產物品，其包括持久地存儲在非暫時性計算機可讀介質上的計算機可執行的指令，當計算機執行所述指令時，使得計算機執行這里的操作。類似地，也描述了計算機系統，其可以包括處理器和耦合到處理器的存儲器。該存儲器可以臨時或持久地存儲使得該處理器執行這里描述的操作中的一個或多個操作的一個或多個程序。此外，方法所規定的操作可以通過單個計算系統內的一個或多個數據處理器或分布在兩個或多個計算系統中的一個或多個數據處理器來實現。這里描述的主題提供許多優點。例如，這里提供的日志分區被視為單個邏輯日志分區，從而充當線性日志(linear log)，其與傳統數據庫相比允許簡化的回放(即，可以使用不太復雜的回放算法，從而減少處理功耗以及回放時間，等等)。此外，本主題允許更高效的OLAP事務的恢復，OLAP事務一般包括僅使用單個日志分區的大負荷操作。更具體來說，本主題的優點在于:其確保跨日志分區的提交持久性(commit durability),進而確保提交回調的正確排序(與日志記錄提交記錄的排序相同)。這里描述的主題的ー個或多個變形的細節在附圖和下面的描述中進行陳述。這里描述的主題的其它特征和優點將從該描述和附圖中以及從權利要求中變得明顯。附圖說明圖1是圖示包括數據存儲應用的系統的示圖；圖2是圖示用于生成數據存儲應用的數據恢復日志的技術的處理流程圖；圖3是圖示圖1的系統的細節的示圖；以及圖4是圖示存儲在多個日志分區中的日志緩沖區的示圖。各個附圖中的相同的參考符號指示相同的元素。具體實施例方式圖1示出系統100的示例，在系統100中，計算系統102可以包括可以在ー個或多個網絡上井置、鏈接的一個或多個可編程處理器，等等，計算系統102運行數據存儲應用的一個或多個模塊、軟件組件等等。數據存儲應用104可以包括數據庫、企業資源程序、分布式存儲系統(例如，加拿大NetApp of Sunnyvale公司的NetApp Filer)中的ー個或多個。所述ー個或多個模塊、軟件組件等等對于計算系統102的本地用戶以及從ー個或多個客戶端機器106通過網絡連接110訪問計算系統102的遠程用戶來說是可訪問的。由ー個或多個第一模塊產生的一個或多個用戶界面屏幕可以通過本地顯示器或通過與客戶端機器106中的一個相關聯的顯示器顯示給用戶。數據存儲應用104的數據單元可以暫時存儲在持久層(persistence layer) 112 (例如,頁緩沖器或其它類型的臨時持久層),持久層112可以通過例如輸入/輸出組件116將數據以存儲頁的形式寫入一個或多個存儲器114中。一個或多個存儲器114可以包括被配置為用于寫入要長期存儲的數據的ー個或多個物理存儲介質或設備(例如，硬盤驅動器、持久快閃存儲器、隨機訪問存儲器、光介質、磁介質等等)。應當注意的是，存儲器114和輸入/輸出組件116可以被包括在計算系統102中，盡管它們在圖1中被示出為在計算系統102的外部。保留在長期存儲器114中的數據可以按頁來組織。每ー頁被分配了規定量的存儲空間。在一些實現方案中，分配給每ー頁的存儲空間的量可以是不變和固定的。然而，其中分配給每ー頁的存儲空間的量可以變化的其它實施方案也在本主題的范圍內。圖2是處理流程圖200，在圖220中，在210，在數據存儲應用中運行多個事務。在220，與多個事務相對應的日志條目被存儲在多個日志緩沖區中。毎次，正好只有ー個日志緩沖區是“當前緩沖器”，日志條目隨著它們被事務生成而按順序存儲到該當前緩沖器中。當這個緩沖器變滿時，下一個緩沖器被拾取作為當前緩沖器而原來的當前緩沖器被寫入日志分區。要寫入日志緩沖區的日志分區按照輪轉方式從多個日志分區中選擇。之后，響應于數據恢復事件，在230,可以通過適當地串接(concatenate)從多個日志分區讀取的日志緩沖區中的數據，按照相應日志緩沖區中的第一條目的日志序號排序，來組合日志條目的順序列表，以生成可以用于數據恢復的日志。該條目列表的排序與在日志寫入期間這些條目被生成的順序1:1地匹配。圖3示出與當前主題的一個或多個特征一致的軟件架構300。數據存儲應用104可以以一個或多個硬件和軟件來實現，并且可以包括數據庫應用、網絡附接的存儲系統等等中的一個或多個。根據當前主題的至少一些實現方案，這樣的數據存儲應用104可以包括持久層112或者具有持久層112的界面，或者經由例如持久界面302的其它類型的日志緩沖區界面。持久層112中的頁緩沖器304可以存儲一個或多個邏輯頁306，并且可選地可以包括隱式頁(shadow page)、活動頁(active page)等等。保留在持久層112中的邏輯頁306可以經由輸入/輸出組件116被寫入存儲器(例如，長期存儲器等等)114，輸入/輸出組件116可以是軟件模塊、以一個或多個軟件和硬件實現的子系統、等等。存儲器114可以包括一個或多個數據卷(volume) 310，其中所存儲的頁312被分配在物理存儲塊上。在一些實現方案中，數據存儲應用104可以包括頁管理器314和/或保存點管理器316，或者與頁管理器314和/或保存點管理器316通信。頁管理器314可以與持久層112中的頁管理模本文檔來自技高網...

【技術保護點】
一種計算機程序產品，包括非暫時性機器可讀介質，該機器可讀介質存儲指令，當該指令被至少一個可編程處理器運行時，使得該至少一個可編程處理器執行下列操作：運行數據存儲應用中的多個事務；將根據所述多個事務的日志條目存儲到多個日志緩沖區中，所述日志條目被順序寫入當前日志緩沖區，所述多個日志緩沖區根據輪轉分布被寫入多個日志分區；以及響應于數據恢復事件，組合日志緩沖區中的日志條目的順序列表以產生日志，該日志被該數據存儲應用用于數據恢復。

【技術特征摘要】
2011.11.07 US 13/290,2861.一種計算機程序產品，包括非暫時性機器可讀介質，該機器可讀介質存儲指令，當該指令被至少ー個可編程處理器運行吋，使得該至少一個可編程處理器執行下列操作: 運行數據存儲應用中的多個事務； 將根據所述多個事務的日志條目存儲到多個日志緩沖區中，所述日志條目被順序寫入當前日志緩沖區，所述多個日志緩沖區根據輪轉分布被寫入多個日志分區；以及 響應于數據恢復事件，組合日志緩沖區中的日志條目的順序列表以產生日志，該日志被該數據存儲應用用于數據恢復。2.按權利要求1所述的計算機程序產品，其中該數據存儲應用包含內存數據庫。3.按權利要求1所述的計算機程序產品，其中被寫入單個日志分區的至少兩個日志緩沖區是不連續的。4.按權利要求1所述的計算機程序產品，其中每個日志緩沖區包含I/O結束標記，其指示向相應日志分區寫入日志緩沖區的輸入/輸出操作已經結束。5.按權利要求4所述的計算機程序產品，其中每個日志緩沖區包含先前的I/O結束標記，其指示輪轉分布中的緊前ー個日志緩沖區已經被寫入相應的日志分區。6.按權利要求5所述的計算機程序產品，其中每個日志緩沖區具有關聯的提交回調集合，并且其中在調用緊前ー個日志緩沖區的提交回調集合之后設置當前日志緩沖區的先前I/O標記。7.按權利要求6所述的計算機程序產品，其中當相應的I/O結束標記和先前的I/O結束標記都已經被設置時，將成功的提交調用告知每個日志緩沖區的提交回調集合。8.一種用于由一個或多個可編程處理器來實現的方法，包括: 由至少ー個數據處理器運行數據存儲應用中的多個事務； 將根據所述多個事務的日志條目存儲到多個日志緩沖區中，所述日志條目被順序寫入當前日志緩沖區，所述多個日志緩沖區根據輪轉分布被寫入多個日志分區；以及 響應于數據恢復事件，由至少ー個數據處理器組合日志緩沖區中的日志條目的順序列表以產生日志，該日志被該數據存儲應用用于數據恢復。9.按權利要求8所述的方法，其中該數據存儲應用包含內存數據庫。10.按權利要求9...

【專利技術屬性】
技術研發人員：I施雷特，
申請(專利權)人：SAP股份公司，
類型：發明
國別省市：