使用虛擬文件數(shù)據(jù)對象的列式數(shù)據(jù)庫制造技術(shù)

多個虛擬文件被實例化在列式數(shù)據(jù)庫中。列式數(shù)據(jù)庫包括列式數(shù)據(jù)存儲器，該列式數(shù)據(jù)存儲器將其中包含的數(shù)據(jù)表保存到多個虛擬文件。每個虛擬文件存儲在物理數(shù)據(jù)存儲器中，一部分虛擬文件可能短暫高速緩存于列式數(shù)據(jù)存儲器和物理數(shù)據(jù)存儲器中間的持久層中。每個虛擬文件包括用于儲存數(shù)據(jù)記錄的數(shù)據(jù)庫對象。在列式數(shù)據(jù)庫中使用虛擬文件來處理操作，以便由一個事務(wù)的操作引起的對虛擬文件的改變與由其它事務(wù)的操作引起的對相同虛擬文件的改變隔離。相關(guān)設(shè)備、系統(tǒng)、技術(shù)和物品也被描述。

【技術(shù)實現(xiàn)步驟摘要】

本文描述的主題涉及用于提供在列式(columnar)數(shù)據(jù)庫中使用的虛擬文件數(shù)據(jù)對象的技術(shù)。
技術(shù)介紹
數(shù)據(jù)庫能夠執(zhí)行包含相應(yīng)數(shù)據(jù)的大量并發(fā)事務(wù)(concurrent transaction)。這些并發(fā)事務(wù)可能導(dǎo)致對相同數(shù)據(jù)(例如，數(shù)據(jù)記錄等)的改變，這使得必須在這種事務(wù)之間進行數(shù)據(jù)隔離。
技術(shù)實現(xiàn)思路
在一個方面，多個虛擬文件被實例化在列式數(shù)據(jù)庫中。列式數(shù)據(jù)庫包括列式數(shù)據(jù)存儲器，該列式數(shù)據(jù)存儲器將其中包含的數(shù)據(jù)表保存到多個虛擬文件。每個虛擬文件存儲在物理數(shù)據(jù)存儲器中，一部分虛擬文件可能短暫高速緩存于列式數(shù)據(jù)存儲器和物理數(shù)據(jù)存儲器中間的持久層中。每個虛擬文件包括用于儲存數(shù)據(jù)記錄的數(shù)據(jù)庫對象。在列式數(shù)據(jù)庫中使用虛擬文件來處理操作，以便由一個事務(wù)的操作引起的對虛擬文件的改變與由其它事務(wù)的操作引起的對相同虛擬文件的改變隔離。當至少一個其它事務(wù)正在執(zhí)行時，可以添加用于第一事務(wù)的至少一個數(shù)據(jù)記錄。在第一事務(wù)提交之后，添加的至少一個數(shù)據(jù)記錄可用于其它事務(wù)。當至少一個其它事務(wù)正在執(zhí)行時，可以刪減用于第二事務(wù)的至少一個數(shù)據(jù)記錄，在第二事務(wù)提交之前，所述經(jīng)刪減的至少一個數(shù)據(jù)記錄(即沒有被刪減的記錄)可用于其它事務(wù)。每個虛擬文件可以存儲在持久層中的一系列數(shù)據(jù)庫頁面中。數(shù)據(jù)庫頁面可以具有固定大小或可變大小。對相應(yīng)開始數(shù)據(jù)庫頁面和相應(yīng)結(jié)束數(shù)據(jù)庫頁面的引用可以存儲在元數(shù)據(jù)中。對虛擬文件的最后重寫記錄的鏈接可以存儲在元數(shù)據(jù)中，以便重寫記錄詳細說明對虛擬文件做出的刪減改變。元數(shù)據(jù)可以存儲在容器目錄中，該容器目錄可以被訪問以識別最新版本的虛擬文件。也描述包括持久存儲在非短暫計算機可讀介質(zhì)上的計算機可執(zhí)行指令的制品，當所述計算機可執(zhí)行指令由計算機執(zhí)行時，使計算機執(zhí)行本文中的操作。相似地，也描述可包括處理器和耦合到處理器的存儲器的計算機系統(tǒng)。存儲器可暫時或持久地存儲使處理器執(zhí)行本文中描述的一個或多個操作的一個或多個程序。此外，用方法說明的操作可以由單個計算系統(tǒng)內(nèi)的或分布在兩個或多個計算系統(tǒng)中的一個或多個數(shù)據(jù)處理器來實現(xiàn)。本文描述的主題提供許多優(yōu)點。例如，本文描述的虛擬文件提供依次允許數(shù)據(jù)庫事務(wù)被正確處理的ACID(原子性、一致性、隔離性、持久性)屬性，與此同時還由列式數(shù)據(jù)存儲器提供對大量(數(shù)百萬)虛擬文件的快速和可伸縮的訪問。此外，實施分布式的列式數(shù)據(jù)庫系統(tǒng)所需的各種特殊操作可以在虛擬文件上容易地實現(xiàn)。本文描述的主題的一個或多個變化的細節(jié)在下文的附圖和說明中進行闡述。基于所述說明和附圖以及基于權(quán)利要求，本文描述的主題的其它特征和優(yōu)點將是顯而易見的。附圖說明圖1是說明包括數(shù)據(jù)存儲應(yīng)用程序的系統(tǒng)的框圖；圖2是說明由列式數(shù)據(jù)庫使用虛擬文件的過程流程圖；圖3是說明圖1的系統(tǒng)的細節(jié)的框圖；圖4是說明當事務(wù)正在被并發(fā)執(zhí)行時添加虛擬文件的框圖；以及圖5是說明當事務(wù)正在被并發(fā)執(zhí)行時刪減虛擬文件的框圖。在各圖中相同的參考符號表示相同的單元。具體實施例方式圖1示出系統(tǒng)100的示例，其中可以包括可配置、鏈接在一個或多個網(wǎng)絡(luò)上的一個或多個可編程處理器等的計算系統(tǒng)102執(zhí)行數(shù)據(jù)存儲應(yīng)用程序104的一個或多個模塊、軟件組件等。數(shù)據(jù)存儲應(yīng)用程序104可以包括數(shù)據(jù)庫、企業(yè)資源程序、分布式存儲系統(tǒng)(例如，可以從美國加州的Sunnyvale的NetApp公司獲得的NetApp Filer)等中的一個或多個。所述一個或多個模塊、軟件組件等可以是計算系統(tǒng)102的本地用戶以及從網(wǎng)絡(luò)連接110上的一個或多個客戶端機器106訪問計算系統(tǒng)102的遠程用戶可以訪問的。由一個或多個第一模塊生成的一個或多個用戶接口屏幕可以經(jīng)由本地顯示器或經(jīng)由與一個客戶端機器106相關(guān)的顯示器來顯示給用戶。數(shù)據(jù)存儲應(yīng)用程序104的數(shù)據(jù)單元可以短暫存儲在持久層112(例如，頁面緩沖器或其它類型的臨時持久層)，其可以例如經(jīng)由輸入/輸出組件116來以存儲頁面的形式將數(shù)據(jù)寫到一個或多個存儲器114中。一個或多個存儲器114可以包括被配置用于寫數(shù)據(jù)以用于較長期存儲的一個或多個物理存儲介質(zhì)或裝置(例如，硬盤驅(qū)動器、持久性閃存、隨機存取存儲器、光介質(zhì)、磁介質(zhì)等)。應(yīng)該注意到，存儲器114和輸入/輸出組件116可以被歸入計算系統(tǒng)102中，盡管在圖1中它們顯示在計算系統(tǒng)102之外。保留在較長期存儲器114的數(shù)據(jù)可以被組織為頁面，每個頁面具有分配給它的規(guī)定數(shù)量的存儲空間。在一些實施方式中，分配給每個頁面的存儲空間的數(shù)量可以是常量和固定的。然而，分配給每個頁面的存儲空間的數(shù)量可以變化的其它實施方式也在當前主題的范圍內(nèi)。圖2是過程流程圖200，其中在210，多個虛擬文件被實例化(instantiate)在列式數(shù)據(jù)庫中。列式數(shù)據(jù)庫包括列式數(shù)據(jù)存儲器，該列式數(shù)據(jù)存儲器將其中包含的數(shù)據(jù)表保存到多個虛擬文件。每個虛擬文件存儲在輔助存儲器中，每個虛擬文件中的一部分可以短暫高速緩存于在列式數(shù)據(jù)存儲器和物理數(shù)據(jù)存儲器中間的持久層中。此外，每個虛擬文件包括用于儲存數(shù)據(jù)記錄的數(shù)據(jù)庫對象。在220中，在實例化了虛擬文件之后，在列式數(shù)據(jù)庫中使用虛擬文件來處理操作，以便由一個事務(wù)的操作引起的對虛擬文件的改變與由其它事務(wù)的操作引起的對相同虛擬文件的改變隔離。圖3顯示和當前主題的一個或多個特征一致的軟件體系結(jié)構(gòu)300。可以實現(xiàn)在一個或多個硬件和軟件中的數(shù)據(jù)存儲應(yīng)用程序104可以包括數(shù)據(jù)庫應(yīng)用程序、網(wǎng)絡(luò)連接存儲系統(tǒng)等中的一個或多個。根據(jù)當前主題的至少一些實施方式，這種數(shù)據(jù)存儲應(yīng)用程序104可以包括持久層112或其它類型的存儲緩沖器，或者要不然例如經(jīng)由持久接口 302與持久層112或其它類型的存儲緩沖器連接。持久層112中的頁面緩沖器304可以存儲一個或多個邏輯頁面306，并且可以可選地包括影子頁面311、活動頁面313和虛擬文件的數(shù)據(jù)頁面315 (即，像文件一樣起作用的數(shù)據(jù)對象)等。保留在持久層112中的邏輯頁面306可以經(jīng)由輸入/輸出組件116寫到存儲器(例如，較長期存儲器等)114，輸入/輸出組件116可以是軟件模塊、用一個或多個軟件和硬件實現(xiàn)的子系統(tǒng)等。存儲器114可以包括一個或多個數(shù)據(jù)卷(volume) 310，其中以物理存儲塊來分配存儲頁面312。在一些實施方式中，數(shù)據(jù)存儲應(yīng)用程序104可以包括行存儲器303和列存儲器305。行存儲器303可以包括頁面管理器314和/或保存點管理器316，或者可以用別的方法與頁面管理器314和/或保存點管理器316通信。頁面管理器314可以與持久層112的頁面管理模塊320進行通信，所述模塊可以包括監(jiān)視頁面狀態(tài)信息324的空閑塊管理器322，所述頁面狀態(tài)信息例如是存儲器114中的物理頁面以及持久層112 (以及可選地在頁面緩沖器304)中的邏輯頁面的狀態(tài)。保存點管理器316可以與持久層204的保存點協(xié)調(diào)器326進行通信以處理保存點，所述保存點被用于在可能的崩潰之后創(chuàng)建一致的數(shù)據(jù)庫持久狀態(tài)以重新啟動。行存儲器303可以經(jīng)由絕對(absolute)頁面API 307來訪問持久接口 302。可以在連續(xù)存儲中存儲列的列存儲器305可以經(jīng)由虛擬文件AP1309訪問持久接口 302。在數(shù)據(jù)存儲應(yīng)用程序104的一些實施方式中，持久層112的頁面管理模塊可以實現(xiàn)影子頁面調(diào)度。頁面管理模塊320中的空閑塊管理器322可以保存本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種計算機程序產(chǎn)品，包括存儲指令的非短暫的機器可讀介質(zhì)，當所述指令由至少一個可編程處理器執(zhí)行時，使所述至少一個可編程處理器執(zhí)行操作，所述操作包括：在列式數(shù)據(jù)庫中實例化多個虛擬文件，所述列式數(shù)據(jù)庫包括列式數(shù)據(jù)存儲器，所述列式數(shù)據(jù)存儲器將包含在其中的數(shù)據(jù)表保存到所述多個虛擬文件，每個虛擬文件存儲在物理數(shù)據(jù)存儲器中并且每個虛擬文件的一部分能夠短暫地高速緩存在所述列式數(shù)據(jù)存儲器和所述物理數(shù)據(jù)存儲器中間的持久層中，所述每個虛擬文件包括用于存儲數(shù)據(jù)記錄的數(shù)據(jù)庫對象；以及在所述列式數(shù)據(jù)庫中使用所述虛擬文件來處理操作，其中由一個事務(wù)的操作引起的對虛擬文件的改變與由其它事務(wù)的操作引起的對相同虛擬文件的改變隔離。

【技術(shù)特征摘要】
2011.11.07 US 13/290,8661.一種計算機程序產(chǎn)品，包括存儲指令的非短暫的機器可讀介質(zhì)，當所述指令由至少一個可編程處理器執(zhí)行時，使所述至少一個可編程處理器執(zhí)行操作，所述操作包括: 在列式數(shù)據(jù)庫中實例化多個虛擬文件，所述列式數(shù)據(jù)庫包括列式數(shù)據(jù)存儲器，所述列式數(shù)據(jù)存儲器將包含在其中的數(shù)據(jù)表保存到所述多個虛擬文件，每個虛擬文件存儲在物理數(shù)據(jù)存儲器中并且每個虛擬文件的一部分能夠短暫地高速緩存在所述列式數(shù)據(jù)存儲器和所述物理數(shù)據(jù)存儲器中間的持久層中，所述每個虛擬文件包括用于存儲數(shù)據(jù)記錄的數(shù)據(jù)庫對象；以及 在所述列式數(shù)據(jù)庫中使用所述虛擬文件來處理操作，其中由一個事務(wù)的操作引起的對虛擬文件的改變與由其它事務(wù)的操作引起的對相同虛擬文件的改變隔離。2.根據(jù)權(quán)利要求1所述的計算機程序產(chǎn)品，其中所述操作進一步包括: 當至少一個其它事務(wù)正在執(zhí)行時，添加用于第一事務(wù)的至少一個數(shù)據(jù)記錄，在所述第一事務(wù)提交之后，所述添加的至少一個數(shù)據(jù)記錄可用于其它事務(wù)。3.根據(jù)權(quán)利要求1所述的計算機程序產(chǎn)品，其中所述操作進一步包括: 當至少一個其它事務(wù)正在執(zhí)行時，刪減用于第一事務(wù)的至少一個數(shù)據(jù)記錄，在所述第一事務(wù)提交之前，所述經(jīng)刪減的至少一個數(shù)據(jù)記錄可用于其它事務(wù)。4.根據(jù)權(quán)利要求1所述的計算機程序產(chǎn)品，其中每個虛擬文件存儲在所述持久層中的數(shù)據(jù)庫頁面鏈中。5.根據(jù)權(quán)利要求4所述的計算機程序產(chǎn)品，其中所述數(shù)據(jù)庫頁面具有固定大小。6.根據(jù)權(quán)利要求4所述的計算機程序產(chǎn)品，其中所述數(shù)據(jù)庫頁面具有可變大小。7.根據(jù)權(quán)利要求4所述的 計算機程序產(chǎn)品，其中所述操作進一步包括: 對于每個虛擬文件，將對相應(yīng)開始數(shù)據(jù)庫頁面和相應(yīng)結(jié)束數(shù)據(jù)庫頁面的引用存儲在元數(shù)據(jù)中。8.根據(jù)權(quán)利要求7所述的計算機程序產(chǎn)品，其中所述操作進一步包括: 將對虛擬文件的最后重寫記錄的鏈接存儲在元數(shù)據(jù)中，所述重寫記錄詳細說明對所述虛擬文件做出的刪減改變。9.根據(jù)權(quán)利要求8所述的計算機程序產(chǎn)品，其中所述操作進一步包括: 將所述元數(shù)據(jù)存儲在容器目錄中，所述容器目錄被訪問以識別最新版本的虛擬文件。10.一種方法，包括: 在列式數(shù)據(jù)庫中實例化多個虛擬文件，所述列式數(shù)據(jù)庫包括列式數(shù)據(jù)存儲器，所述列式數(shù)據(jù)存儲器將包含在其中的數(shù)據(jù)表保存到所述多個虛擬文件，每個虛擬文件存儲在物理數(shù)據(jù)存儲器中并且每個虛擬文件的一部分能夠短暫地高速緩存在所述列式數(shù)據(jù)存儲器和所述物理數(shù)據(jù)存儲器中間的持久層中，所述每個虛擬文件包括用于存儲數(shù)據(jù)記錄的數(shù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：I·施賴特，T·格列布，T·朔伊爾，
申請(專利權(quán))人：SAP股份公司，
類型：發(fā)明
國別省市：