一種提高存儲系統間海量文件同步速度的方法技術方案

本發明專利技術提供一種提高存儲系統間海量文件同步速度的方法，涉及計算機存儲領域，該方法涉及如下幾個主要步驟：比較源端和目的端對應文件的大小和修改時間；目的端文件分塊，計算校驗和。該步驟首先對目的端的文件進行分塊，之后對每個塊分別計算校驗和；將目的端文件的校驗和列表傳輸到同步源；在源端進行文件的數據塊比對；將步驟4中得到的結果數組傳輸到目的端；目的端根據從源端接收到的結果數組，重新生成文件。本發明專利技術能夠有效的提高的存儲系統中的海量文件的同步速度，提升網絡利用率。

【技術實現步驟摘要】

本專利技術涉及計算機存儲領域，具體涉及集群存儲中，海量文件備份加速的技術，具體地說是。
技術介紹
隨著信息時代的到來網絡應用的高速發展，網絡信息數據量越來越大，海量存儲系統中所保存的數據量也越來越大，越來越多的存儲系統中保存的數據量都已經達到了 PB級。數據規模的快速增長無疑給文件同步、數據備份帶來了新的問題。在海量數據的新環境下，傳統的文件同步方法的性能已經無法滿足業務需求。由于現有的文件同步方法大都沒有針對海量數據的環境進行專門的設計和優化，因此同步海量文件的性能較低。
技術實現思路
本專利設計了。其特征在于通過利用文件對比算法以及多線程技術，減少了需要在網絡中傳輸的數據量，并且充分利用了網絡的帶寬，進而提高了文件同步的速度，減少了文件同步所需要的時間。該方法涉及如下幾個主要步驟: 1)、比較源端和目的端對應文件的大小和修改時間；如果源端文件和目的端文件的大小和修改時間中有一項不同，則啟動一個線程，在新線程中開始執行步驟2。之后重復步驟1，比較下一個文件的大小和修改時間； 2)、目的端文件分塊，計算校驗和；該步驟首先對目的端的文件進行分塊，之后對每個塊分別計算校驗和； 3)、將目的端文件的校驗和列表傳輸到同步源；校驗和列表中包括數據塊的編號和校驗和； 4)、在源端進行文件的數據塊比對。在同步的源端，計算文件中的第一個數據塊的校驗和，并在從目的端得到的校驗和列表中，查找該校驗和是否存在；如果存在，則將該校驗和對應的目的端文件數據塊編號記錄到結果數組中的對應位置，并將數據塊窗口向后移動一個數據塊的長度；如果不存在，則將該數據塊的第一個字節保存到結果數組的對應位置，并將數據塊窗口向后移動一個字節。重復以上過程，直至整個文件比對完畢； 5)、將步驟4中得到的結果數組傳輸到目的端； 6)、目的端根據從源端接收到的結果數組，重新生成文件。對文件的對比和傳輸過程進行優化，通過算法得出文件中被修改的部分，減少傳輸過程中需要傳輸的數據量，并對文件比較和數據傳輸進行并行處理的優化，從而大大提高文件的同步速度。該方法主要用于在不同的海量存儲系統之間同步文件，通過在文件同步的源端和目的端進行軟件優化，減少文件同步過程中需要傳輸的數據量，實現海量文件同步速度的提升。本專利技術與現有技術相比，所產生的有益效果是: 該方法通過使用文件對比算法，查找出了同步源端文件和同步目的端文件中相同的數據塊，減少了需要在網絡中傳輸的數據量，同時使用了多線程技術，實現多個文件的同時傳輸，提高了海量文件同步的速度。【附圖說明】附圖1為文件數據塊對比算法的流程圖； 附圖2為使用文件數據塊對比算法后生成的結果數組示意圖。圖2中標識為灰色的數據塊表示該數據塊在目的端的文件中存在，數據塊下方給出的是其在目的端文件中的編號；圖2中標識為白色的數據塊為本次同步需要傳輸的數據塊。【具體實施方式】參照具體實施例對本專利技術的提高存儲系統間海量文件同步速度的方法作以下詳細地說明。本專利技術體系結構包括:同步客戶端模塊(I)、同步服務端模塊(2)。在一個典型的配置環境里，同步客戶端模塊(I)和同步服務端模塊(2)作為一般的應用軟件分別被安裝到同步的目的端和同步的源端。當發起同步操作時，同步服務端模塊(2)將同步源端目錄中所有文件的文件名、文件大小和修改時間發送到同步客戶端模塊(1)，同步客戶端模塊(I)依次比較源端和目的端對應文件的文件大小和修改時間，如果發現存在文件大小或修改時間不同的文件，則創建一個線程，在新線程中，使用數據塊比對算法，查找出源端和目的端不同的數據塊并進行傳輸，并最終在同步客戶端模塊(I)中利用這些數據塊生成文件，完成文件的同步。至此，通過多文件的并行傳輸以及減少需要傳輸的數據量這兩個方法，實現了一種海量文件環境中，提高文件同步速度的方法。本文檔來自技高網...

【技術保護點】
一種提高存儲系統間海量文件同步速度的方法，其特征在于該方法涉及如下幾個主要步驟：1）、比較源端和目的端對應文件的大小和修改時間；如果源端文件和目的端文件的大小和修改時間中有一項不同，則啟動一個線程，在新線程中開始執行步驟2;之后重復步驟1，比較下一個文件的大小和修改時間；2）、目的端文件分塊，計算校驗和；該步驟首先對目的端的文件進行分塊，之后對每個塊分別計算校驗和；3）、將目的端文件的校驗和列表傳輸到同步源；校驗和列表中包括數據塊的編號和校驗和；4）、在源端進行文件的數據塊比對;在同步的源端，計算文件中的第一個數據塊的校驗和，并在從目的端得到的校驗和列表中，查找該校驗和是否存在；如果存在，則將該校驗和對應的目的端文件數據塊編號記錄到結果數組中的對應位置，并將數據塊窗口向后移動一個數據塊的長度；如果不存在，則將該數據塊的第一個字節保存到結果數組的對應位置，并將數據塊窗口向后移動一個字節;重復以上過程，直至整個文件比對完畢；5）、將步驟4中得到的結果數組傳輸到目的端；6）、目的端根據從源端接收到的結果數組，重新生成文件。

【技術特征摘要】
1.一種提高存儲系統間海量文件同步速度的方法，其特征在于該方法涉及如下幾個主要步驟: 1)、比較源端和目的端對應文件的大小和修改時間；如果源端文件和目的端文件的大小和修改時間中有一項不同，則啟動一個線程，在新線程中開始執行步驟2;之后重復步驟1，比較下一個文件的大小和修改時間； 2)、目的端文件分塊，計算校驗和；該步驟首先對目的端的文件進行分塊，之后對每個塊分別計算校驗和； 3)、將目的端文件的校驗和列表傳輸到同步源；校驗和列表中包括數據塊的編號和校驗和； 4)、在源...

【專利技術屬性】
技術研發人員：孟令斌，
申請(專利權)人：浪潮電子信息產業股份有限公司，
類型：發明
國別省市：