混合OLTP和OLAP高性能數據庫系統技術方案

提供了一種維護混合OLTP和OLAP數據庫的方法，該方法包括：執行一個或多個OLTP業務；創建一個或多個虛擬存儲器快照；并且使用虛擬存儲器快照來執行一個或多個OLAP查詢。優選地，該方法還包括：響應于對數據對象的更新復制存儲有該數據對象的虛擬存儲器頁面，從而更新的數據對象可訪問用于OLTP業務，而同時未更新的數據對象保持可訪問用于OLAP查詢。相應地，提供了一種混合系統，可以使用硬件輔助的復制機制來同時處理OLTP和OLAP，以維護業務數據的一致快照。

【技術實現步驟摘要】
【國外來華專利技術】混合OLTP和OLAP高性能數據庫系統
技術介紹
在線業務處理(OLTP)和在線分析處理(OLAP)這兩個領域對于數據庫架構存在不同的挑戰。在傳統系統中，具有高關鍵任務業務率的消費者將他們的數據拆分成兩個分離系統，一個數據庫用于0LTP，一個數據庫用于OLAP的所謂數據倉庫。盡管允許合理的業務率，但是這種分離由許多缺點，包括由于僅周期性地發起精確轉移負載數據分級而引起的延遲所導致的數據新鮮度問題以及由于維護兩個分離的信息系統所導致過度資源消耗。在歷史上，數據庫系統主要用于在線業務處理。這種業務處理系統的典型示例是銷售訂單錄入或銀行業業務處理。這些業務訪問和處理僅是整個數據的一小部分，內插可以非常快速地執行。根據標準化的TPC-C基準結果，當前最高的標度系統可以每秒處理多于100. 000個這種銷售業務。 大約二十年前，開發了對數據庫系統的新使用商業智能(BI)。BI應用依賴于長期運行的所謂在線分析處理(OLAP)查詢，在線分析處理(OLAP)查詢對數據的實質部分進行處理以便產生商業分析的報告。典型的報告包括根據地理區域、產品分類或消費者類別等分組的策略銷售統計。取消了對可操作的OLTP數據庫執行這些查詢的首次嘗試(例如，SAP的EIS項目)，這是由于OLAP查詢處理導致資源爭奪并且嚴重地損害了關鍵任務業務處理。因此，設想了在圖I中示例的數據分級架構。這里，對專用的OLTP數據庫系統執行業務處理。此外，針對商業智能查詢處理安裝分離的數據倉庫系統。周期性地，例如在夜晚期間，提取OLTP數據庫變化，將OLTP數據庫變化轉移到數據倉庫規劃的布置中，并且加載到數據倉庫中。這種數據分級及其關聯的ETL處理展現了以下若干固有缺陷·過期數據由于ETL處理只能周期性地執行，因此數據倉庫狀態不會影響最新的商業業務。因此商業分析必須基于它們對過期(過時)數據的判斷。 冗余兩個系統的使用導致維護數據的兩個冗余拷貝的成本。另一方面，冗余允許以應用特定方式對數據進行建模在針對OLTP處理的歸一化表中并且作為針對OLAP查詢的星形方案。·高費用維護兩個分離的系統導致技術和經濟懲罰，因為必須考慮兩個系統(硬件、軟件等)的費用和兩個系統的維護成本以及復雜的ELT處理。本專利技術的目的是解決這些缺陷。
技術實現思路
根據本專利技術，提供了一種權利要求I中限定的方法。在其余權利要求中引述了有利實施例。本專利技術提供了一種混合系統，可以使用硬件輔助復制機制來同時處理OLTP和OLAP這二者，以維護業務數據的一致快照(consistent snapshot)。在一個實施例中，本專利技術提供了一種主存儲器數據庫系統，保證OLTP業務的ACID屬性并且同時對任意當前和一致快照執行OLAP查詢會話(多次查詢)。使用對虛擬存儲器管理(地址解譯、高速緩存、更新拷貝)的處理器固有支持可以同時獲得高業務率和低OLAP查詢響應時間。根據本專利技術的實施例，放棄OLTP數據庫與OLAT數據倉庫系統的分離。可以通過主存儲器數據庫架構來實現在同一系統上集成這兩個非常困難的工作量所需的處理性能。本專利技術實現了對業務OLTP數據的最新狀態執行OLAP查詢。這與傳統系統相反，傳統系統分開進行對OLTP數據庫的業務處理和對數據倉庫的查詢處理，數據倉庫僅周期性刷新，這導致基于過期(過時)數據的查詢。在本專利技術的實施例中，業務數據庫具備查詢處理能力，從而(一部分)查詢處理從數據倉庫移至OLTP系統。為此，支持對相同數據庫的OLTP業務處理和OLAP查詢處理的混合工作量。這與最近針對不同應用情況構建專用系統的趨勢略有不同。如果例如通過主存儲器數據庫架構提高了處理性能，則可以最佳地實現在相同系統上集成這兩個非常不同的工作量。第一方面，(互聯網可訪問的)數據量的驚人激增與這種保持所有業務數據主存儲器駐留的假設沖突。然而，較近的檢查示出了商業關鍵業務數據庫量具有支持主存儲器數據管理的有限尺寸。為了證實這種假定，可以對Amazon的估計業務量進行分析。訂單處理數據量具有大約150億歐元的估計年度稅收。假定單獨訂單線具有大約15歐元值，并且每個訂單線導致大約54字節的存儲數據(如針對TPC-C基準而指定的)，對于作為這種銷售應用中的主要倉庫的訂單線，總數據量應當是54GB每年。這種估計既不包括增加其他數據的量(消費者和產品數據)，也不包括壓縮數據以減小量的可能性。然而，安全地假定使年度銷售數據適合大規模服務器的主存儲器。此夕卜，推斷過去開發，安全地預測日用品的主存儲器容量，并且與最大商業消費者的要求相t匕，高端服務器更快速增長。附圖說明圖I示出了現有技術的分離的OLTB數據庫和OLAP數據倉庫。圖2示出了根據本專利技術實施例的主存儲器OLTP數據庫架構。圖3示出了根據本專利技術實施例的混合OLTP和OLAP數據庫架構。圖4示出了根據本專利技術實施例的新虛擬存儲器快照的分岔。圖5示出了在本專利技術實施例中使用的“更新拷貝”策略。圖6示出了根據本專利技術實施例的針對OLAP查詢使用虛擬存儲器快照。圖7示出了根據本專利技術實施例的不同時間點處多個OLAP會話。圖8示出了根據本專利技術實施例的對分區數據的多線程OLTP處理。圖9示出了根據本專利技術實施例的一致快照備份存儲器。圖10示出了根據本專利技術實施例的重做記錄日志。圖11示出了根據本專利技術實施例的用作OLTP處理器的備份以及活躍OLAP處理器的副服務器的使用。圖12示出了根據本專利技術實施例的活躍業務的取消記錄日志。圖13示出了根據本專利技術實施例的恢復處理，包括⑴加載歸檔備份和⑵應用重做記錄日志。具體實施方式在圖2中示出了根據本專利技術實施例的用于業務處理的主存儲器架構。在該實施例中，采用了單線程方法，其中，順序地執行所有OLTP業務。該架構消除了以高成本鎖定和鎖存數據對象或索引結構的需要，這是由于僅活躍的更新業務“擁有”整個數據庫。有利地，可以通過主存儲器數據庫來實現該串行執行方法，其中，不需要通過針對其他業務交錯地利用CPU來代表一個業務從而掩蔽I/O操作。在主存儲器架構中，典型的商業業務(例如，訂單錄入或支付處理)具有僅不到10毫秒的持續時間。然而，如果允許將復雜的OLAP型查詢注入到工作量隊列中，則會阻塞系統，這是由于所有的后續OLTP業務必須等待這種長運行查詢的完成。即使這樣的OLAP查詢在30ms內完成，但是也會將系統鎖定能夠完成大約1000或更多OLTP業務的持續時間。然而，期望提供一種主存儲器數據庫系統，以每秒I萬次的速率處理OLTP業務，同時能夠處理對業務數據的最新快照的OLAP查詢。根據本專利技術的實施例，提供了一種混合系統，能夠使用硬件輔助復制機制同時處理OLTP和0LAP，以維護業務數據的一致快照。本專利技術可以通過保證OLTP業務的ACID屬性的主存儲器數據庫系統來實現。具體 地，可以采用記錄日志和備份歸檔用于持久性和快速恢復。與OLTP處理并行地，可以同樣對任意當前和一致快照執行OLAP查詢會話(多次查詢)。使用對虛擬存儲器管理(地址解譯、緩存、更新拷貝)的處理器固有支持在相同系統中同時獲得空前的高業務率和超低OLAP查詢響應時間。系統架構根據本專利技術的實施例，可以對相同主存儲器駐留數據庫執行OLTP業務和OLAP查詢。與老式基于磁盤的存儲服務器相比，可以省略任何數據庫特定緩沖器管理和頁本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發人員：阿爾方·坎佩，托馬斯·紐曼，
申請(專利權)人：慕尼黑技術大學，
類型：
國別省市：