一種選擇用于數(shù)據(jù)存儲庫的重復(fù)刪除協(xié)議的方法，該數(shù)據(jù)存儲庫包括配置為RAID陣列的多個數(shù)據(jù)存儲設(shè)備，該方法建立：常規(guī)重復(fù)刪除協(xié)議、RAID故障重復(fù)刪除協(xié)議、以及多存儲設(shè)備故障重復(fù)刪除協(xié)議。該方法接收包括多個交織數(shù)據(jù)塊的主機數(shù)據(jù)。如果系統(tǒng)在沒有任何存儲設(shè)備故障的情況下運行，則該方法使用常規(guī)重復(fù)刪除協(xié)議來處理主機數(shù)據(jù)。如果系統(tǒng)在具有一個存儲設(shè)備故障的情況下運行，則該方法使用RAID故障重復(fù)刪除協(xié)議來處理主機數(shù)據(jù)。如果系統(tǒng)在具有多個存儲設(shè)備故障的情況下運行，則該方法使用多存儲設(shè)備故障重復(fù)刪除協(xié)議來處理主機數(shù)據(jù)。
【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及選擇用于數(shù)據(jù)存儲庫的重復(fù)刪除(deduplication)協(xié)議的裝置和方法。
技術(shù)介紹
計算系統(tǒng)生成信息。使用多個數(shù)據(jù)存儲介質(zhì)來存儲這種信息在本領(lǐng)域內(nèi)是已知的。在獨立磁盤冗余陣列(“RAID”)配置中，信息被存儲在數(shù)據(jù)存儲介質(zhì)的陣列中，以提供容錯和改進的數(shù)據(jù)訪問性能。RAID通過使用專用硬件或者軟件將物理存儲介質(zhì)組合到單個邏輯單元中。在RAID3、4、5和6陣列配置中，稱為“數(shù)據(jù)條帶化(datastriping) ”的過程與奇偶校驗數(shù)據(jù)(也即，編碼的冗余信息)結(jié)合使用。在RAID6中，使用行條帶和對角線條帶二者，并且一組奇偶校驗與每個行條帶相關(guān)聯(lián)，而另一組奇偶校驗與每個對角線條帶相關(guān)聯(lián)，以用于雙冗余。在RAID6中，行奇偶校驗可以集中在單個行奇偶校驗存儲介質(zhì)中，而對角線奇偶校驗可以集中在不同的單個對角線奇偶校驗存儲介質(zhì)中，或者行和對角線奇偶校驗可以跨陣列中的所有數(shù)據(jù)存儲介質(zhì)而分布。每個RAID條帶包括預(yù)定數(shù)目的順序邏輯塊陣列。通過對數(shù)據(jù)進行條帶化以及跨陣列中的所有驅(qū)動器來分布奇偶校驗，優(yōu)化的性能通過最小化對單個驅(qū)動器的恒定訪問得以實現(xiàn)。如果RAID6配置中的驅(qū)動器發(fā)生故障失效，則可以使用其余驅(qū)動器上的奇偶校驗數(shù)據(jù)來重建寫入故障驅(qū)動器的數(shù)據(jù)。如果陣列配置有在線備用驅(qū)動器，則當檢測到故障驅(qū)動器時，RAID重建自動開始。如果陣列未配置有備用驅(qū)動器，則RAID重建在故障驅(qū)動器被替換后開始。為了重建丟失的數(shù)據(jù)，從陣列中的其余驅(qū)動器讀取每個丟失的條帶。使用由RAID控制器異或(“X0R”)引擎執(zhí)行的XOR操作來恢復(fù)丟失的條帶。在XOR引擎恢復(fù)丟失的條帶之后，向替換驅(qū)動器或者在線備用驅(qū)動器寫入該恢復(fù)的條帶。對于RAID3、4和5而言，重建過程涉及從陣列中可操作驅(qū)動器的N-I次讀取，以及向替換驅(qū)動器或在線備用驅(qū)動器的單次寫入。當條帶完全恢復(fù)時，重建過程繼續(xù)恢復(fù)下一丟失的條帶。對于RAID級別6下的雙故障，使用行條帶和對角線條帶二者來構(gòu)造驅(qū)動器數(shù)據(jù)，該數(shù)據(jù)正被重建到兩個備用驅(qū)動器中。在重建過程期間，陣列保持對于用戶是可訪問的。RAID控制器必須分配系統(tǒng)資源以處理主機I/O請求以及處理RAID重建二者。
技術(shù)實現(xiàn)思路
本專利技術(shù)包括一種選擇用于數(shù)據(jù)存儲庫的重復(fù)刪除協(xié)議的方法，該數(shù)據(jù)存儲庫包括配置為RAID陣列的多個數(shù)據(jù)存儲設(shè)備。該方法建立常規(guī)重復(fù)刪除協(xié)議、RAID故障重復(fù)刪除協(xié)議、以及多存儲設(shè)備故障重復(fù)刪除協(xié)議。該方法接收包括多個交織數(shù)據(jù)塊的主機數(shù)據(jù)。如果系統(tǒng)在沒有任何存儲設(shè)備故障的情況下運行，則該方法使用常規(guī)重復(fù)刪除協(xié)議來處理主機數(shù)據(jù)。如果系統(tǒng)在具有一個存儲設(shè)備故障的情況下運行，則該方法使用RAID故障重復(fù)刪除協(xié)議來處理主機數(shù)據(jù)。如果系統(tǒng)在具有多個存儲設(shè)備故障的情況下運行，則該方法使用多存儲設(shè)備故障重復(fù)刪除協(xié)議來處理主機數(shù)據(jù)。在某些實施方式中，該方法動態(tài)地設(shè)置重復(fù)刪除協(xié)議。在這些實施方式中，重復(fù)刪除協(xié)議是故障數(shù)據(jù)存儲設(shè)備的數(shù)目、實際RAID重建速率、最小RAID重建閾值以及最大RAID 重建閾值的函數(shù)。附圖說明現(xiàn)在，將僅僅通過示例的方式參考附圖來描述本專利技術(shù)的實施方式，其中圖I是示出按照本專利技術(shù)一個實施方式的數(shù)據(jù)存儲系統(tǒng)的一個實施方式的框圖。圖2A是示出使用光纖信道仲裁回路與多個數(shù)據(jù)存儲介質(zhì)通信的一個RAID控制器的框圖。圖2B是示出使用雙光纖信道仲裁回路與多個數(shù)據(jù)存儲介質(zhì)通信的兩個RAID控制器的框圖。圖3是概括出按照本專利技術(shù)第一實施方式的方法中的某些步驟的流程圖。圖4是概括出按照本專利技術(shù)第二實施方式的方法中的某些步驟的流程圖。圖5是概括出第二實施方式的某些附加步驟的流程圖。具體實施方式在下文描述中，將參考附圖通過優(yōu)選實施方式來描述本專利技術(shù)，附圖中的相似數(shù)字表示相同或相似的元素。在整個說明書中，提及“一個實施方式”、“實施方式”或類似的語言表示結(jié)合該實施方式描述的特定特征、結(jié)構(gòu)或者特性包括在本專利技術(shù)的至少一個實施方式中。由此，在本專利技術(shù)中出現(xiàn)的短語“在一個實施方式中”、“在實施方式中”以及類似語言可以但并非一定都表不相同的實施方式。所描述的本專利技術(shù)的特征、結(jié)構(gòu)或者特性可以通過任何適當?shù)姆绞浇Y(jié)合在一個或多個實施方式中。在下文描述中，記載了多個特定的細節(jié)，以便提供對本專利技術(shù)實施方式的透徹理解。然而，相關(guān)領(lǐng)域的技術(shù)人員將會認識到，可以在無需一個或多個特定細節(jié)的情況下實踐本專利技術(shù)，或者可以利用其他方法、組件、材料等來實踐本專利技術(shù)。在其他情況下，沒有示出或詳細描述公知的結(jié)構(gòu)、材料或者操作，以便混淆本專利技術(shù)的方面。在圖I示出的實施方式中，數(shù)據(jù)處理系統(tǒng)100包括RAID控制器120以及數(shù)據(jù)存儲介質(zhì)130、140、150和160。在圖I示出的實施方式中，RAID控制器120分別經(jīng)由I/O協(xié)議 132、142、152 和 162 來與數(shù)據(jù)存儲介質(zhì) 130、140、150 和 160 通信。I/O 協(xié)議 132、142、152 和162可以包括任何類型的I/O協(xié)議，包括但不限于光纖信道回路、SCSI (小型計算機系統(tǒng)接口)、iSCSI (因特網(wǎng)SCSI)、SAS (串行附接SCSI)、光纖信道、光纖信道上的SCSI、以太網(wǎng)、以太網(wǎng)上的光纖信道、無限頻帶以及SATA (串行ATA)。“數(shù)據(jù)存儲介質(zhì)”表示信息存儲介質(zhì)，其結(jié)合有向該信息存儲介質(zhì)寫入信息以及從其讀取信息所需的硬件、固件和/或軟件。在某些實施方式中，信息存儲介質(zhì)包括磁性信息5存儲介質(zhì)，諸如但不限于磁盤、磁帶等。在某些實施方式中，信息存儲介質(zhì)包括光學(xué)信息存儲介質(zhì)，諸如但不限于CD、DVD (數(shù)字通用盤)、HD-DVD (高清DVD)、BD (藍光盤)等。在某些實施方式中，信息存儲介質(zhì)包括電子信息存儲介質(zhì)，諸如PROM、EPROM、EEPROM、閃速PROM、壓縮閃存、智能介質(zhì)等。在某些實施方式中，信息存儲介質(zhì)包括全息信息存儲介質(zhì)。在圖I示出的實施方式中，RAID控制器120與主機計算機102、104和106通信。一般而言，主機計算機102、104和106每個都包括計算系統(tǒng)，諸如大型機、個人計算機、工作站及其組合，其包括操作系統(tǒng)，諸如WindowS、AIX、Unix、MVS、LINUX等(Windows是微軟公司的注冊商標；AIX是IBM公司的注冊商標，MVS是IBM公司的商標；UNIX是美國和其他國家中的注冊商標，通過OpenGroup獨占許可；并且LINUX是Linux Torvald的注冊商標)。在某些實施方式中，一個或多個主機計算機102、104和/或106還包括存儲管理程序。在某些實施方式中，該存儲管理程序可以包括本領(lǐng)域中已知的存儲管理類程序的功能，其管理去往和來自數(shù)據(jù)存儲和檢索系統(tǒng)(例如但不限于在IBM MVS操作系統(tǒng)中實現(xiàn)的IBM DFSMS)的數(shù)據(jù)傳送。在圖I示出的實施方式中，本專利技術(shù)的RAID控制器120包括處理器128、XOR引擎129、計算機可讀介質(zhì)121、寫入到計算機可讀介質(zhì)121的微碼122，以及寫入到計算機可讀介質(zhì)121的指令124。處理器128使用微碼122來操作RAID控制器120。在圖I示出的實施方式中，RAID控制器120還包括重建位圖126，其中重建位圖包括N個指示符，并且其中每個指示符與不同的數(shù)據(jù)條帶相關(guān)聯(lián)。如果第i個指示符被設(shè)為第一值，則相關(guān)聯(lián)的數(shù)據(jù)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
一種用于建立在數(shù)據(jù)存儲庫中使用的數(shù)據(jù)重復(fù)刪除協(xié)議的方法，所述數(shù)據(jù)存儲庫包括配置為RAID陣列的多個數(shù)據(jù)存儲設(shè)備，所述方法包括步驟：接收交織信息的多個塊；確定故障數(shù)據(jù)存儲設(shè)備的數(shù)目M；建立偏移因子O的值；計算N的值，其中N＝M+1+MO；對每第N個數(shù)據(jù)塊進行重復(fù)刪除。
【技術(shù)特征摘要】
...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：N·豪斯泰恩，D·J·維納爾斯基，U·特羅普恩斯，C·A·克萊恩，A·K·貝特斯，
申請(專利權(quán))人：國際商業(yè)機器公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。