分布式文件存儲系統及其實現方法技術方案

本發明專利技術提供了分布式文件存儲系統及其實現方法。其中，該方法包括：文件存儲服務器在執行分布式文件讀操作或分布式文件寫操作時，如果自身未開啟分布式文件存儲服務，則以廣播方式在整個網絡中查找是否有其他文件存儲服務器啟動了分布式文件存儲服務，如果是，則在自身滿足分布式文件存儲服務需求時，從啟動了分布式文件存儲服務的任一文件存儲服務器上同步分布式文件存儲服務可運行信息，利用該同步的可運行信息啟動分布式文件存儲服務，與其他啟動了分布式文件存儲服務的文件存儲服務器構成分布式文件系統，并執行分布式文件讀操作或分布式文件寫操作。

【技術實現步驟摘要】

本專利技術涉及網絡通信技術，特別涉及。
技術介紹
隨著數據存儲量的增加，分布式文件存儲系統得到了廣泛發展，但是，目前的分布式文件存儲系統都是預先被啟動的，與文件存儲服務是否啟動無關，這樣會導致沒有文件存儲服務時，分布式文件存儲系統一直啟動，會對文件存儲服務的擴展性有影響，提高分布式文件存儲系統管理成本，并影響分布式文件存儲系統的應用。
技術實現思路
本專利技術提供了，用于動態實現分布式文件存儲系統隨需啟動，避免由于事先啟動分布式文件存儲服務所帶來的諸多問題。本專利技術提供的技術方案包括:一種分布式文件存儲系統實現方法，包括:文件存儲服務器在執行分布式文件讀操作或分布式文件寫操作時，如果自身未開啟分布式文件存儲服務，則以廣播方式在整個網絡中查找是否有其他文件存儲服務器啟動了分布式文件存儲服務，如果是，則在自身滿足分布式文件存儲服務需求時，從啟動了分布式文件存儲服務的任一文件存儲服務器上同步分布式文件存儲服務可運行信息，利用該同步的可運行信息啟動分布式文件存儲服務，與其他啟動了分布式文件存儲服務的文件存儲服務器構成分布式文件系統，并執行分布式文件讀操作或分布式文件寫操作。—種分布式文件存儲系統，包括:至少一個文件存儲服務器；其中，每一文件存儲服務器包括:查找單元、同步單元、啟動單元、寫操作執行單元、和讀操作執行單元；查找單元，用于在所述寫操作執行單元執行分布式文件寫操作或所述讀操作執行單元執行分布式文件讀操作時，如果所述文件存儲服務器未開啟分布式文件存儲服務，則以廣播方式在整個網絡中查找是否有其他文件存儲服務器啟動了分布式文件存儲服務；同步單元，用于在所述查找單元的查找結果為是時，在所述文件存儲服務器滿足分布式文件存儲服務需求時，從啟動了分布式文件存儲服務的任一文件存儲服務器上同步分布式文件存儲服務可運行信息；啟動單元，用于所述同步單元同步的可運行信息啟動分布式文件存儲服務，與其他啟動了分布式文件存儲服務的文件存儲服務器構成分布式文件系統，并觸發所述寫操作執行單元執行分布式文件寫操作或所述讀操作執行單元執行分布式文件讀操作。由以上技術方案可以看出，本專利技術中，文件存儲服務器并非事先啟動分布式文件存儲服務，而是在執行分布式文件讀操作或分布式文件寫操作時啟動分布式文件存儲服務，即具有隨需啟動服務的特性，這完全避免現有技術由于事先啟動分布式文件存儲服務所帶來的諸多問題，節約管理成本。附圖說明圖1為本專利技術實施例提供的基本流程圖；圖2為本專利技術實施例提供的圖1流程舉例示意圖；圖3為本專利技術實施例提供的寫操作流程圖；圖4為本專利技術實施例提供的步驟301查找寫請求需要寫入數據的文件是否存在的操作實現流程圖；圖5為本專利技術實施例提供的文件數據存儲結構示意圖；圖6為本專利技術實施例提供的讀操作流程圖；圖7為本專利技術實施例提供的利用原子查找實現讀操作流程圖；圖8為本專利技術實施例提供的局數據動態同步示意圖；圖9為本專利技術實施例提供的局數據動態同步實現流程圖；圖10為本專利技術實施例提供的分布式文件存儲系統的結構圖。具體實施例方式為了使本專利技術的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本專利技術進行詳細描述。參見圖1，圖1為本專利技術實施例提供的方法流程圖。如圖1所示，該流程可包括以下步驟:步驟101，文件存儲服務器在執行分布式文件讀操作或分布式文件寫操作時，如果自身未開啟分布式文件存儲服務，則以廣播方式在整個網絡中查找是否有其他文件存儲服務器啟動了分布式文件存儲服務，如果是，執行步驟102。優選地，作為本專利技術實施例的一種擴展，步驟101中，當查找結果為否時，則可定期執行上述廣播，或者靜默，本專利技術并不具體限定。步驟102，在自身滿足分布式文件存儲服務需求時，從啟動了分布式文件存儲服務的任一文件存儲服務器上同步分布式文件存儲服務可運行信息，利用該同步的可運行信息啟動分布式文件存儲服務，與其他啟動了分布式文件存儲服務的文件存儲服務器構成分布式文件系統，并執行分布式文件讀操作或分布式文件寫操作。至此，完成圖1所示的流程。需要說明的是，在圖1所示的流程中，步驟101中，文件存儲服務器執行分布式文件讀操作或分布式文件寫操作是由該文件存儲服務器上的應用程序(APP)觸發的。下面通過圖2舉例描述:如圖2所示,假設在一個網絡中有三臺文件存儲服務器:serverl至server3。其中，只有serverf啟動了分布式文件存儲服務，即能夠隨時執行分布式文件讀操作或分布式文件寫操作。而當serverl上面啟動了應用程序Appl,而Appl需要執行分布式文件讀操作或分布式文件寫操作時，Appl會調用serverl上的分布式文件存儲服務接口，由該服務接口以廣播的方式在網絡上尋找是否有分布式文件存儲服務，此時會找到server2上的分布式文件存儲服務，然后Appl會判斷serverl是否滿足分布式文件存儲服務的需求比如硬件需求等，如果滿足，則會將serverf上面的分布式文件存儲服務可運行信息比如可運行程序以及策略同步到serverl,然后啟動serverl上面的分布式文件存儲服務，執行分布式文件讀操作或分布式文件寫操作。這樣，serverl和server2采用互為備份的方式構成了分布式文件存儲系統。依次類推，則當server3上面運行APP2時,會啟動server3上面的分布式文件存儲服務，這樣就會構成一個serverl至server3組成的分布式文件存儲系統。需要說明的是，本專利技術中，當某些server上的應用程序停止時不影響該serve上的分布式文件存儲服務。從上面描述可以看出，本專利技術中，文件存儲服務器并非事先啟動分布式文件存儲服務，而是在執行分布式文件讀操作或分布式文件寫操作時啟動分布式文件存儲服務，即具有隨需啟動服務的特性。這完全避免現有技術由于事先啟動分布式文件存儲服務所帶來的諸多問題。另外，在上述步驟101中，文件存儲服務器(也即文件存儲服務器上的APP，下面為描述簡便，均簡稱為文件存儲服務器)執行分布式文件寫操作可包括圖3所示的流程:參見圖3，圖3為本專利技術實施例提供的寫操作流程圖。如圖3所示，該流程可包括以下步驟:步驟301，文件存儲服務器接收客戶端發送的寫請求時，查找該寫請求需要寫入數據的文件是否存在，如果是，返回查找到的文件給客戶端，之后執行步驟302，如果否，執行步驟303 ；步驟302，在客戶端選擇允許文件多版本時，執行步驟303 ;在客戶端選擇允許文件覆蓋時，將所述寫請求攜帶的數據覆蓋查找到的其中一個文件中的數據；步驟303，在本地創建新的文件版本號，并將所述寫請求攜帶的數據寫入所述文件版本號對應的文件。其中，文件存儲服務器創建的文件版本號是依據該文件存儲服務器啟動文件存儲服務的時間點、該文件存儲服務器的IP地址以及該文件存儲服務器創建該文件版本號的時間點決定。并且，該文件版本號只在寫請求時發生改變，而在讀請求時不會變化。本專利技術中，之所以為文件創建文件版本號，主要目的是用于區分分布式文件存儲系統中不同文件存儲服務器上可能出現的同名文件，另外，其也能有助于文件存儲服務器對自己管理的相關文件進行命名。至此，完成圖3所示的流程。其中，上述步驟301中，查找寫請求需要寫入數據的文件是否存在的操作具體實現時可包括圖4所示的流程。在描述圖4所示的流程之前，先描述本文檔來自技高網...

【技術保護點】
一種分布式文件存儲系統實現方法，其特征在于，該方法包括：文件存儲服務器在執行分布式文件讀操作或分布式文件寫操作時，如果自身未開啟分布式文件存儲服務，則以廣播方式在整個網絡中查找是否有其他文件存儲服務器啟動了分布式文件存儲服務，如果是，則在自身滿足分布式文件存儲服務需求時，從啟動了分布式文件存儲服務的任一文件存儲服務器上同步分布式文件存儲服務可運行信息，利用該同步的可運行信息啟動分布式文件存儲服務，與其他啟動了分布式文件存儲服務的文件存儲服務器構成分布式文件系統，并執行分布式文件讀操作或分布式文件寫操作。

【技術特征摘要】
1.一種分布式文件存儲系統實現方法，其特征在于，該方法包括: 文件存儲服務器在執行分布式文件讀操作或分布式文件寫操作時，如果自身未開啟分布式文件存儲服務，則以廣播方式在整個網絡中查找是否有其他文件存儲服務器啟動了分布式文件存儲服務，如果是，則在自身滿足分布式文件存儲服務需求時，從啟動了分布式文件存儲服務的任一文件存儲服務器上同步分布式文件存儲服務可運行信息，利用該同步的可運行信息啟動分布式文件存儲服務，與其他啟動了分布式文件存儲服務的文件存儲服務器構成分布式文件系統，并執行分布式文件讀操作或分布式文件寫操作。2.根據權利要求1所述的方法，其特征在于，所述文件存儲服務器執行分布式文件寫操作包括: Al，所述文件存儲服務器接收客戶端發送的寫請求時，查找該寫請求需要寫入數據的文件是否存在，如果是，返回查找到的文件給客戶端，之后執行步驟A2，如果否，執行步驟A3 ； A2，在客戶端選擇允許文件多版本時，執行步驟A3 ;在客戶端選擇允許文件覆蓋時，將所述寫請求攜帶的 數據覆蓋查找到的其中一個文件中的數據； A3，在本地創建新的文件版本號，并將所述寫請求攜帶的數據寫入所述文件版本號對應的文件。3.根據權利要求2所述的方法，其特征在于，步驟A3中，所述文件存儲服務器創建的文件版本號是依據該文件存儲服務器啟動文件存儲服務的時間點、該文件存儲服務器的IP地址以及該文件存儲服務器創建該文件版本號的時間點決定。4.根據權利要求2所述的方法，其特征在于，步驟Al中，查找寫請求需要寫入數據的文件是否存在包括: All，在本地存儲的本地局數據列表中查找所述寫請求需要寫入數據的文件對應的局數據，如果查找到，提供查找到的局數據給客戶端，并執行步驟A12，如果未查找到，執行步驟A12 ;所述文件對應的局數據至少包括:文件的文件版本號、文件的本地路徑、以及文件的名稱； A12，在本地存儲的與所述本地局數據列表對應的本地備份局數據列表中查找所述寫請求需要寫入數據的文件的備份所對應的局數據，如果查找到，提供查找到的局數據給客戶端，并執行步驟A13，如果未查找到，執行步驟A13 ;所述文件的備份對應的局數據至少包括:該文件的文件版本號、該文件的本地路徑、該文件的名稱、以及該文件的備份所在的位置信息； A13，在本地存儲的與所述本地局數據列表對應的外地關聯數據列表中查找與所述寫請求需要寫入數據的文件相關聯的關聯文件所在的位置信息，如果查找到，則利用所述位置信息查找到所述關聯文件對應的局數據，提供查找到的局數據給客戶端。5.根據權利要求4所述的方法，其特征在于，步驟A3之后進一步包括: A4，文件存儲服務器將自身存儲的文件備份至啟動了分布式文件存儲服務、且經過協商確定出的用于備份自身文件的至少一個文件存儲服務器，并將自身存儲的文件的備份對應的局數據放入本地備份局數據列表中； A5，所述文件存儲服務器將存儲了與自身存儲的文件相關聯的文件、且啟動了分布式文件存儲服務的文件存儲器的位置放入本地存儲的外地關聯數據列表中。6.根據權利要求4所述的方法，其特征在于，所述文件存儲服務器執行分布式文件讀操作包括: B1，在本地存 儲的本地局數據列表中查找讀請求需要讀數據的文件對應的局數據，如果查找到，提供查找到的局數據給客戶端，并執行步驟B2，如果未查找到，執行步驟B2 ； B2，在本地存儲的與所述本地局數據列表對應的本地備份數據列表中查找所述讀請求需要讀數據的文件的備份所對應的局數據，如果查找到，提供查找到的局數據給客戶端，并執行步驟B3，如果未查找到，執行步驟B3 ； B3，在本地存儲的與所述本地局數據列表對應的外地關聯數據列表中查找與所述讀請求需要讀數據的文件相關聯的關聯文件所在的位置信息，如果查找到，則利用所述位置信息查找到所述關聯文件對應的局數據，提供查找到的局數據給客戶端。7.根據權利要求6所述的方法，其特征在于，步驟All、步驟A12、步驟A13、步驟B1、步驟B2、以及步驟B3中的查找為原子查找或者多結果查找； 所述原子查找為使用文件名稱、以及文件被創建文件版本號的時間查找；所述多結果查找為僅使用文件名稱查找。8.根據權利要求6所述的方法，其特征在于，該方法進一步包括: 在從本地備份數據列表中查找到局數據時，將該查找到的局數據放入與所述本地備份數據列表對應的本地局數據列表中； 在本地存儲的外地關聯數據列表中查找到關聯文件所在的位置信息，且利用該位置信息查找到所述關聯文件對應的局數據后，將該查找到的局數據放入與所述外地關聯數據列表對應的本地局數據列表中。9.根據權利要求6所述的方法，其特征在于，該方法進一步包括: 在步驟AU、步驟A12、步驟B1、以及步驟B2中查找到局數據時，將該局數據的訪問次數加上第一設定值，將得到的結果作為該局數據的當前訪問次數；以及在步驟A13、以及步驟B3中查找到位置信息時，將該位置信息的訪問次數加上第二設定值，將得到的結果作為該位置信息的當前訪問次數； 掃描本地備份數據列表中每一局數據的當前訪問次數，如果該當前訪問次數達到第一設定閾值、且與所述本地備份數據列表對應的本地局數據列表中存在空閑的存儲空間，則將該局數據放入該存儲空間中； 掃描本地存儲的外地關聯數據列表中每一位置信息的當前訪問次數，如果該當前訪問次數達到第二設定閾值、且與所述本地備份數據列表對應...

【專利技術屬性】
技術研發人員：簡勤，郭正平，王全禮，曾東，廖勤耘，柳劉，
申請(專利權)人：中國移動通信集團四川有限公司，
類型：發明
國別省市：