多個硬盤組成的存儲系統數據存儲方法技術方案

本發明專利技術公開了一種多個硬盤組成的存儲系統數據存儲方法，包括以下步驟：將多個硬盤劃分為多個分組并寫入初始化配置文件中；根據初始化配置文件進行初始化，把硬盤序列號與所在分組的分組號及順序號的對應關系寫入到分組信息文件中，將每個硬盤按固定大小分成多個條帶，并寫入條帶化信息文件中；保存存儲文件時，將文件的內容分配一個唯一的內容編號并分成若干個內容塊，每一個內容塊分別保存在同一個分組中的不同硬盤的相應條帶上，并把該內容塊所占用的條帶信息及狀態寫入內容信息文件中。本發明專利技術，既能夠滿足大并發的要求，又能夠保證系統持續不間斷的提供服務，最大化利用存儲空間，降低存儲的成本。

【技術實現步驟摘要】

本專利技術涉及數據存儲領域，具體涉及。
技術介紹
目前，互聯網上的媒體文件多采用⑶N(內容分發網絡)來實現存儲和分發。由中 心內容庫來保證媒體文件的完整性和安全性，通過在網絡各處設置的節點服務器實現媒體 文件的大并發視頻流化功能，各節點服務器的內容都來自于中心服務器。由于媒體文件的數據量很大，因此要求各節點服務器具有很高的并發能力，并能 夠不間斷的提供大并發的流化服務。顯然，標準文件系統雖然可以在硬盤損壞或者更換的 情況可以提供服務，不過不能滿足大并發需要的IO的讀寫，而且內容的刪除時間也長。為 此，節點服務器通常采用 RAIDO 或 RAIDl 規范的 RAID (Redundant Array of Independent Disk,獨立冗余磁盤陣列)。(l)RAIDO，無差錯控制的帶區組。這種方式，數據是分成數據塊保存在不同的硬盤 驅動器上的，所以數據吞吐率大大提高，硬盤驅動器的負載也比較平衡。雖然RAIDO可以提 供很高的并發能力，但是一旦有硬盤損壞或者需要更換，整個系統就不能提供服務，而且其 所有的內容都會丟失，需要所有的內容都要從中心重新分發。(2)RAID1，鏡象結構。這種方式，在一組硬盤驅動器出現問題時，可以使用鏡象硬 盤驅動器，從而提高了系統的容錯能力。雖然RAIDl方式在有硬盤驅動器損壞或更換的情 況可以正常提供服務，不過由于每個媒體文件在節點服務器都存有兩份，而且媒體文件的 數據量很大，從而造成大量的內容冗余，帶來存儲成本的大幅度攀升。由此可見，急需對現有節點服務器的存儲方式進行優化設計，使其在滿足持續不 間斷提供服務的前提下，又能夠滿足大并發的要求，同時降低存儲的成本。
技術實現思路
本專利技術所要解決的技術問題是解決節點服務器為了滿足持續不間斷的提供服務 和大并發的要求，存儲成本較高的問題。為了解決上述技術問題，本專利技術所采用的技術方案是提供一種多個硬盤組成的存 儲系統數據存儲方法，包括以下步驟將所述多個硬盤劃分為多個分組，并將每個硬盤的盤符、所在分組的分組號以及 分組內的順序號寫入到初始化配置文件中；存儲系統根據所述初始化配置文件進行初始化，根據硬盤的盤符自動獲得硬盤的 序列號并生成硬盤所在分組的順序號，把所述序列號與所在分組的分組號及順序號的對應 關系寫入到分組信息文件中，然后將每個硬盤的存儲空間按固定大小分成多個條帶，并將 所述條帶在硬盤上偏移位置以及狀態寫入條帶化信息文件中；保存存儲文件時，將所述存儲文件的內容分配一個唯一的內容編號并分成若干個 內容塊，每一個所述內容塊分別保存在同一個分組中的不同硬盤的相應條帶上，同時將占用的條帶的條帶狀態設置為已用，并把該內容塊所占用的條帶信息及狀態寫入內容信息文 件中，同時更新所述條帶化信息文件中相應條帶的狀態，每一個所述內容塊的大小等于條 帶的大小；所述條帶信息包括條帶號和條帶在硬盤上偏移位置，所述條帶狀態有未用、已用 和已刪除三種；刪除存儲文件時，通過所述內容信息文件找到該存儲文件的內容所占用的所有條 帶，把這些條帶的狀態設置為未用，然后再把相應的條帶號從所述內容信息文件中刪除，并 更新所述條帶化信息文件中的相應條帶的狀態。在上述方法中，所述存儲系統再次啟動時，從所述分組信息文件中重新生成每塊 硬盤的序列號與該硬盤所在分組及在分組中的順序號的對應關系，并根據所述條帶信息文 件生成條帶化信息。在上述方法中，存儲系統重新啟動后，根據分組信息文件中的硬盤序列號確定定 該硬盤位于哪個分組以及在該分組中的順序號。在上述方法中，存儲系統重新啟動后，根據所述條帶化信息文件、分組信息文件和 內容信息文件恢復為原來的狀態。在上述方法中，所述存儲文件的最后一個內容塊小于條帶大小也要占用一個條帶。本專利技術，既能夠滿足大并發的要求，又能夠保證系統持續不間斷的提供服務，最大 化利用存儲空間，降低存儲的成本。附圖說明圖1為本專利技術的流程圖2為本專利技術中多塊硬盤初始化后的示意圖3為本專利技術中保存文件F1、F2的示意圖4為本專利技術中再保存文件F3的示意圖5為本專利技術中刪除文件Fl的示意圖6為本專利技術中硬盤物理位置更換或更換硬盤時的示意圖。具體實施方式本專利技術提供的，將所述多個硬盤劃分為多 個分組，每個硬盤按固定大小分成多個條帶，文件在每個分組內根據條帶均勻分布，從而既 保證了大并發的硬盤IO功能，同時又避免了因為單個硬盤損壞或更換造成所有內容的丟 失。下面結合說明書附圖和具體實施例對本專利技術作出詳細的說明。本具體實施例中，冗余 磁盤陣列由8塊硬盤組成，且劃分為兩個分組，顯然，本專利技術提供的技術方案并不僅限于8 個硬盤，也不僅限于劃分為兩個分組，本領域技術人員完全可以根據實際需要確定硬盤以 及分組的數量，硬盤和分組的數量至少為兩個。如圖1所示，本專利技術提供的多個硬盤的數據存儲方法包括以下步驟步驟A10、為多個硬盤組成的存儲系統的初始化提供配置文件。本實施例中，8個 硬盤分別是(I)/dev/sdc，序列號是 SERIALNUM1001 ；(2) /dev/sdd，序列號是 SERIALNUM1002(3) /dev/sde，序列號是 SERIALNUM1003(4) /dev/sdf，序列號是 SERIALNUM1004(5) /dev/sdg，序列號是 SERIALNUM1005(6) /dev/sdh，序列號是 SERIALNUM1006(7) /dev/sdi，序列號是 SERIALNUM1007(8) /dev/sdj，序列號是 SERIALNUM1008。配置文件將上述8個硬盤分為兩個分組，第一分組Gl順序是/dev/sdcVdev/sdd、 /dev/sde 和 /dev/sdf ;第二分組 G2 順序是 /dev/sdg、/dev/sdh、/dev/sdi 和 /dev/sdj。上述多個硬盤不包含系統盤。步驟A20、存儲系統根據配置文件進行初始化，首先根據硬盤的盤符自動獲得硬 盤的序列號并生成硬盤所在分組的順序號，把所述序列號與所在分組的分組號及順序號 的對應關系寫入到分組信息文件Grouplnfo. dat中。例如硬盤/dev/sdc的序列號是 SERIALNUM1001，在分組 Gl 中，位于順序第一，對應關系為SERIALNUM1001〈-> (Gl, Indexl) 寫到 Grouplnfo. dat 中，同理，把其他的對應關系 SERIALNUM1002<-> (Gl, Index2)、 SERIALNUM1003<-> (Gl, Index3)、SER I ALNUM I 004<-> (Gl, Index4)、 SERIALNUM1005〈->(G2, Index I)、SER I ALNUM I 006<-> (G2, Index2)、 SERIALNUM1007<-> (G2, Index3)、SERIALNUM1008<-> (G2, Index4)也寫入 Grouplnfo. dat 中，如圖2所示。步驟A30、把每個硬盤的存儲空間劃分成IMB大小的多個條帶，并把所有條帶的條 帶信息和狀態保存在條帶化信息文件Stripinglnfo. dat中。條帶信息包括條帶本文檔來自技高網...

【技術保護點】
多個硬盤組成的存儲系統數據存儲方法，其特征在于，包括以下步驟：將所述多個硬盤劃分為多個分組，并將每個硬盤的盤符、所在分組的分組號以及分組內的順序號寫入到初始化配置文件中；存儲系統根據所述初始化配置文件進行初始化，根據硬盤的盤符自動獲得硬盤的序列號并生成硬盤所在分組的順序號，把所述序列號與所在分組的分組號及順序號的對應關系寫入到分組信息文件中，然后將每個硬盤的存儲空間按固定大小分成多個條帶，并將所述條帶在硬盤上偏移位置以及狀態寫入條帶化信息文件中；保存存儲文件時，將所述存儲文件的內容分配一個唯一的內容編號并分成若干個內容塊，每一個所述內容塊分別保存在同一個分組中的不同硬盤的相應條帶上，同時將占用的條帶的條帶狀態設置為已用，并把該內容塊所占用的條帶信息及狀態寫入內容信息文件中，同時更新所述條帶化信息文件中相應條帶的狀態，每一個所述內容塊的大小等于條帶的大小；所述條帶信息包括條帶號和條帶在硬盤上偏移位置，所述條帶狀態有未用、已用和已刪除三種；刪除存儲文件時，通過所述內容信息文件找到該存儲文件的內容所占用的所有條帶，把這些條帶的狀態設置為未用，然后再把相應的條帶號從所述內容信息文件中刪除，并更新所述條帶化信息文件中的相應條帶的狀態。...

【技術特征摘要】
1.多個硬盤組成的存儲系統數據存儲方法，其特征在于，包括以下步驟 將所述多個硬盤劃分為多個分組，并將每個硬盤的盤符、所在分組的分組號以及分組內的順序號寫入到初始化配置文件中； 存儲系統根據所述初始化配置文件進行初始化，根據硬盤的盤符自動獲得硬盤的序列號并生成硬盤所在分組的順序號，把所述序列號與所在分組的分組號及順序號的對應關系寫入到分組信息文件中，然后將每個硬盤的存儲空間按固定大小分成多個條帶，并將所述條帶在硬盤上偏移位置以及狀態寫入條帶化信息文件中； 保存存儲文件時，將所述存儲文件的內容分配ー個唯一的內容編號并分成若干個內容塊，每ー個所述內容塊分別保存在同一個分組中的不同硬盤的相應條帶上，同時將占用的條帶的條帶狀態設置為已用，并把該內容塊所占用的條帶信息及狀態寫入內容信息文件中，同時更新所述條帶化信息文件中相應條帶的狀態，每ー個所述內容塊的大小等于條帶的大小；所述條帶信息包括條帶號和條帶在硬盤上偏移位置，所述條帶狀態有未用、已用和已刪除三種； ...

【專利技術屬性】
技術研發人員：杜兵，
申請(專利權)人：武漢市烽視威科技有限公司，
類型：發明
國別省市：