一種應用于分布式文件系統的元數據分簇管理方法和模塊技術方案

本發明專利技術提出一種應用于分布式文件系統的元數據分簇管理方法和模塊。提出了簇的概念，即一棵獨立的子樹即是一個簇。在分布式文件系統中添加簇服務器，集中管理全局的元數據目錄子樹。簇服務器包括簇映射關系表、簇計數器和記錄每臺元數據服務器簇數的元數據簇數管理表，同時在元數據服務器上添加目錄計數表，用以記錄存在于本臺服務器的每個簇下的目錄數。通過這些模塊的協作，解決了分布式文件系統中單臺元數據服務器擴展為元數據服務器集群的元數據管理問題以及服務器集群元數據目錄子樹分割方法存在的負載不均衡的問題。

【技術實現步驟摘要】

本專利技術涉及一種應用于分布式文件系統的元數據分簇管理方法和模塊，該方法應用于分布式文件系統的元數據服務器集群中，屬于計算機科學與

技術介紹
隨著云時代的到來，大數據也吸引了越來越多的關注，每天互聯網上的數據以數億的速度激增。這種數量級的數據量已經超出了一臺計算機的處理能力，基于此，分布式文件系統技術被提出，它將元數據和數據分離，現有的分布式文件系統一般使用多臺數據服務器存儲具體數據，使用一臺元數據服務器將數據的元數據信息(包括名字、大小、儲存位置等)儲存在內存中。由于用戶每次訪問文件之前，都要先向元數據服務器請求獲取該文件的元數據，并發訪問量巨大；同時隨著元數據的激增，元數據服務器內存容量有限，這兩方面的限制都導致單臺元數據服務器將成為分布式文件系統的瓶頸。基于此，需要將單元數據服務器擴展成為一個元數據服務器集群，然而，對服務器集群中存儲的元數據(服務器集群元數據)進行統一管理是一個挑戰性的問題。在服務器集群元數據管理方面，哈希和目錄子樹分割是分布式文件系統中管理元數據的兩個常用方法。哈希方法是以文件目錄、名字或者其他相關屬性值為鍵值，通過哈希函數計算相應的哈希值，然后建立哈希值與元數據存儲的服務器映射表。哈希方法的優點是容易實現負載均衡，也支持高度并發訪問，但是這種方法的缺點是很難將所有目錄和文件組織成完整的層級結構展示給用戶，增加了某些操作(如:獲取一個目錄的所有子目錄)的實現難度，并且當增加或者減少元數據服務器時，哈希值隨之改變，所有的元數據需要重新分布，這將造成大量元數據遷移，從而增大系統開銷。目錄子樹分割方法是按照目錄樹劃分為一棵棵目錄子樹，然后將目錄子樹分配到元數據服務器上存儲，每臺元數據服務器管理一棵或者多棵目錄子樹。目錄子樹分割方法簡單易懂，由于目錄樹可以任意被拆分，因此元數據易于被分割到不同的服務器中存儲。目錄子樹分割方法可以很容易地將所有子樹組合成完整的目錄樹，以層級結構展示給用戶，但是目錄子樹分割方法的缺點是在實現過程中不易于實現元數據存儲的負載均衡。為了解決上述方法在管理上的缺點，本專利提出一種應用于分布式文件系統的元數據分簇管理方法和模塊，不僅保留了傳統的目錄子樹分割簡單易行、易于擴展的優點，還保證了其在應用過程中的負載均衡。
技術實現思路
依據當前的技術背景和條件，并針對分布式文件系統中元數據擴展的特點和要求，本專利技術提出一種應用于分布式文件系統的元數據分簇管理方法和模塊。本專利技術采用的技術方案如下:一、本專利技術結構為了提高元數據存取速度，提升元數據存儲容量，使用本專利技術的分布式文件系統采用多臺服務器(元數據服務器集群)存儲元數據(一棵元數據目錄樹)，每臺元數據服務器存儲由元數據目錄樹分割出的一棵或多棵元數據目錄子樹；使用一臺服務器(簇服務器)統一管理元數據服務器集群上存儲的元數據目錄子樹。本專利技術提出“簇”的概念，元數據目錄樹被分割為一棵棵元數據目錄子樹，每棵目錄子樹稱為一個簇。本專利技術由兩大模塊組成，如圖1所示，分別為簇服務器和元數據服務器。簇服務器包括簇編號計數器、元數據服務器簇數管理表和簇映射關系表三個模塊。元數據服務器包括元數據模塊和目錄計數表模塊。使用本專利技術的分布式文件系統元數據的分簇管理原理如圖2所示。元數據目錄樹被分割為幾棵元數據目錄子樹，這些元數據目錄子樹被隨機存儲在幾臺元數據服務器上。簇服務器通過簇編號計數器、元數據服務器簇數管理表和簇映射關系表三個模塊對存儲在不同元數據服務器上的元數據目錄子樹進行統一管理。下面從模塊的具體作用和工作流程來進一步對本專利技術進行說明。二、本專利技術模塊作用在使用本專利技術的分布式文件系統中，每個元數據使用簇編號+文件編號作為其在整個文件系統中的唯一標識，其中簇編號(zone ID)是簇服務器為每棵子樹分配的全局編號，文件編號(inode ID)是每個元數據服務器為存在于自己內存中的元數據分配的編號。下面介紹各模塊的具體功能。簇服務器各模塊功能如下:>簇編號計數器負責記錄已使用的簇編號，在元數據服務器申請新簇時向元數據服務器派發簇編號，以避免出現簇編號重復。>元數據服務器簇數管理表負責統計每臺元數據服務器上有多少個簇。當簇數目達到閾值時，簇服務器模塊要另選一臺元數據服務器建立新簇。>簇映射關系表是一張反映簇編號與元數據服務器IP地址映射關系的表格。每個表項表示編號為簇編號的子樹存在于地址為IP的元數據服務器上。當知道一個文件或目錄的元數據的簇編號時，客戶端根據該表格快速定位元數據所在的元數據服務器。元數據服務器模塊功能如下:>元數據模塊，即存放元數據的模塊，它的作用是存放一棵棵零散的目錄子樹，也即一個個簇。>目錄計數表負責統計本臺元數據服務器上每個簇下的目錄數，當表項中記錄的目錄數達到閾值時，元數據服務器向簇服務器請求建立新簇。三、本專利技術執行流程客戶端掛載到文件系統時，簇服務器首先將簇映射關系表和該文件系統的根目錄元數據所在的元數據服務器IP地址發送給客戶端。>訪問目錄或文件客戶端訪問一個目錄或文件時，存儲著根目錄的元數據服務器按照文件的全路徑，遍歷根目錄的下級目錄和文件，查找客戶端需要的下一級目錄或文件。如果根目錄的下級目錄或文件與根目錄存儲在同一個元數據服務器上，該元數據服務器直接訪問下級目錄或文件；若下級目錄存儲在另一臺元數據服務器上，則將根目錄元數據中存儲的該下級目錄的簇編號發回給客戶端，客戶端查詢簇映射關系表，向實際存儲著下級目錄元數據的元數據服務器發起查詢請求。以此類推，直至找到所要訪問的目錄或文件。>創建文件由于創建文件不會帶來創建新簇的問題，所以創建文件的過程比較簡單。客戶端首先通過訪問目錄的步驟找到所要創建的文件的父目錄所在的元數據服務器，然后向該元數據服務器發送創建文件的請求，元數據服務器為要創建的文件分配一個文件編號，將文件創建在指定的父目錄下。>創建目錄首先客戶端通過訪問目錄的步驟找到所要創建的目錄的父目錄所在的元數據服務器，向該元數據服務器提交創建目錄申請。元數據服務器查看目錄計數表的相關表項，看是否需要建立新簇；如果不需要，直接為該目錄分配一個文件編號，將其創建在父目錄下。如果需要建立新簇，元數據服務器向簇服務器申請簇編號，簇服務器首先查詢元數據服務器簇數管理表，看此元數據服務器上的簇數是否達到閾值，以判斷是否可以在此元數據服務器上建立新簇。如果可以，簇服務器直接將新建簇的簇編號發給元數據服務器，元數據服務器以該目錄為根建立新簇。如果不可以在當前元數據服務器上建立新簇，簇服務器查詢元數據服務器簇數管理表，找到簇數最少的元數據服務器，向簇數最少的元數據服務器發送建立新簇的命令和新簇編號。新的元數據服務器接到請求，在自己內存中建立以該目錄為根的新簇。附圖說明圖1元數據分簇管理結構示意2元數據分簇管理原理示意圖具體實施例方式為了說明這種服務器集群元數據的管理方式，下面給出一些操作的實例。一、訪問文件nU/dl/fl存在于同一臺元數據服務器MDSl中，其中dl為目錄，fl為文件。執行下述步驟:I)客戶端根據根目錄元數據的位置訪問MDS1，MDS1讀取根目錄的元數據，遍歷根目錄的下一級目錄，查找dl并直接訪問dl ；2)遍歷dl下的所有文件，查找fl并直接訪問f本文檔來自技高網...

【技術保護點】
本專利技術提出使用“簇編號+文件編號”作為每個元數據在整個分布式文件系統中的唯一標識。

【技術特征摘要】

【專利技術屬性】
技術研發人員：陸月明，及瑩，解曉偉，
申請(專利權)人：北京郵電大學，
類型：發明
國別省市：