一種通過虛擬目錄來提升元數據集群性能的方法技術

本發明專利技術公開一種通過虛擬目錄來提升元數據集群性能的方法，涉及數據集群管理領域；根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作，利用本發明專利技術建立虛擬子目錄既很好的提升了元數據性能，又很好的實現了壓力的負載均衡。

Method for improving performance of metadata cluster through virtual directory

The invention discloses a method for the virtual directory to enhance metadata cluster performance, data relates to the field of cluster management; according to the system request, establish metadata cluster virtual sub directory or common directory settings for virtual directory, after the establishment of virtual sub directory metadata cluster operation request, to determine whether the parent directory for the virtual directory not, is the original process of operation, otherwise enter the virtual directory to calculate hash operation, according to the hash value into the corresponding directory virtual operation, the invention of the virtual directory is good to enhance the performance of metadata, and to achieve a good load balance pressure.

【技術實現步驟摘要】
一種通過虛擬目錄來提升元數據集群性能的方法
本專利技術公開一種提升元數據集群性能的方法，涉及數據集群管理領域，具體的說是一種通過虛擬目錄來提升元數據集群性能的方法。
技術介紹
元數據是用來描述一個文件系統特征的數據。比如對于磁盤文件系統來說，關于文件組織和管理的信息就是該文件的元數據。在UNIX系統中，文件的元數據主要是文件目錄項和索引節點結構。目錄項和文件系統的名字空間相關，每個目錄項對應一個文件名。索引節點結構中則存儲著文件的很多重要信息，諸如訪問權限、文件大小、文件的創建時間、最后存取時間、最后修改時間等屬性信息，以及文件數據的物理分布信息，如直接塊指針、間接塊指針。此外，還有一些重要的系統數據，如超級塊信息，記錄了整個文件系統的使用情況，如空閑塊的大小、己使用的空間大小等，也是一種元數據。元數據的訪問性能影響著分布式文件系統的性能。在分布式文件系統中，元數據的訪問很頻繁，而元數據文件通常又很小，這樣對大量小文件的訪問，會對系統性能造成沖擊，不利于元數據的使用。本專利技術提供一種通過虛擬子目錄來提升元數據集群性能的方法，為了提升元數據集群的性能，對虛擬子目錄的創建，虛擬子目錄可以分配不同的mds，實現負載均衡，單個目錄可以利用多個mds,實現單目錄小文件性能的提升，從而進一步實現元數據集群性能的提升。
技術實現思路
本專利技術針對目前技術發展的需求和不足之處，提供一種通過虛擬目錄來提升元數據集群性能的方法，高效、便捷、實用性強、為元數據集群系統提升性能，解決瓶頸問題。一種通過虛擬目錄來提升元數據集群性能的方法，根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作。通過更改集群節點配置文件的參數，設置元數據集群的虛擬子目錄的開啟和關閉功能。所述建立虛擬子目錄，先創建虛擬父目錄，再根據每個mds需要創建的目錄個數，創建虛擬子目錄，根據虛擬子目錄導出規則將虛擬子目錄導出到對應mds。所述將普通目錄設置為虛擬子目錄：根據配置文件的參數創建虛擬子目錄，遍歷目錄的一層通過hash算法計算存放位置，移動到對應的虛擬子目錄。先判斷普通目錄是否為虛擬子目錄，不是則進行創建，是則結束創建。通過更改配置文件目錄inode中的xattr屬性字段，設置元數據集群的虛擬子目錄的開啟和關閉功能。更改目錄inode中的xattr屬性字段的User.vartualdir的屬性，設置元數據集群的虛擬子目錄的開啟和關閉功能。本專利技術與現有技術相比具有的有益效果是：本專利技術提供一種通過虛擬子目錄來提升元數據集群性能的方法，根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作。為了提升元數據集群的性能，利用本專利技術對虛擬子目錄的創建，虛擬子目錄可以分配不同的mds，實現負載均衡，單個目錄可以利用多個mds,實現單目錄小文件性能的提升，從而進一步實現元數據集群性能的提升。附圖說明圖1本專利技術中建立虛擬子目錄的流程示意圖；圖2本專利技術中對元數據集群的操作請求進行處理的流程示意圖；圖3本專利技術中將普通目錄設置為虛擬子目錄的流程示意圖；圖4本專利技術中虛擬子目錄恢復成普通目錄的流程示意圖。具體實施方式本專利技術提供一種通過虛擬目錄來提升元數據集群性能的方法，根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作。為使本專利技術的目的、技術方案和優點更加清楚明白，以下結合具體實施，對本專利技術進一步詳細說明。利用本專利技術方法，根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，如下：其中建立虛擬子目錄，先創建虛擬父目錄，再根據每個mds需要創建的目錄個數n，創建n個虛擬子目錄，根據虛擬子目錄導出規則將虛擬子目錄導出到對應mds；此外在創建虛擬父目錄前，可以對創建目錄請求進行問詢，是否創建虛擬目錄，如是則繼續進行，否則按照原有創建流程創建普通目錄，參考圖1；將普通目錄設置為虛擬子目錄：根據配置文件的參數設置虛擬子目錄，比如更改目錄inode中的xattr屬性字段，增加user.virtualdir字段屬性，用virtual_dir_num參數0-5來設置元數據集群的普通目錄是否為虛擬子目錄，其中數值是0則表明不是虛擬子目錄，是普通目錄；而參數是大于0的正數，則表明是虛擬子目錄；利用上述更改配置文件參數實例，普通目錄設置為虛擬子目錄流程可以參考圖3，其中接收將普通目錄設置為虛擬子目錄的指令后，如啟用更改配置文件參數來設置虛擬子目錄，則創建虛擬子目錄，然后遍歷目錄的一層通過hash算法計算存放位置，利用Mv移動到對應的虛擬子目錄，導出虛擬子目錄，設置user.virtualdir值等于1，大于0，因此為虛擬子目錄；其中可以預先對普通目錄是否為虛擬子目錄進行判斷，不是則進行創建，是則結束創建；虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作。此外，普通目錄可以通過更改配置文件目錄inode中的xattr屬性字段，設置元數據集群的虛擬子目錄的開啟和關閉功能，繼續上述實施例，則利用將user.virtualdir值設置等于0，使虛擬子目錄恢復成普通目錄，恢復后相應虛擬子目錄可被刪除，此過程為：更改該目錄的User.vartualdir的屬性為0，將該目錄下的虛擬子目錄的分配mds導回0，之后遍歷目錄的一層，通過Mv操作移動到上級目錄下，相關目錄操作完成后，將這些目錄刪除。利用本專利技術方法可以高效、便捷地提升元數據集群系統的性能，實用性強，并且操作便利，不需要人為干預，在提升元數據性能的同時，還能夠很好的隱藏目錄。本文檔來自技高網...

【技術保護點】
一種通過虛擬目錄來提升元數據集群性能的方法，其特征在于根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作。

【技術特征摘要】
1.一種通過虛擬目錄來提升元數據集群性能的方法，其特征在于根據系統請求，建立元數據集群的虛擬子目錄或者將普通目錄設置為虛擬子目錄，虛擬子目錄建立后對元數據集群的操作請求，判斷父目錄是否為虛擬目錄，不是則進行原有流程進行操作，否則進入虛擬目錄，對操作名進行hash計算，根據hash值進入到相應的虛擬子目錄中進行操作。2.根據權利要求1所述的方法，其特征在于通過更改集群節點配置文件的參數，設置元數據集群的虛擬子目錄的開啟和關閉功能。3.根據權利要求2所述的方法，其特征在于所述建立虛擬子目錄，先創建虛擬父目錄，再根據每個mds需要創建的目錄個數，創建虛擬子目錄，根據虛擬子目錄導出規則將虛擬子目錄導出...

【專利技術屬性】
技術研發人員：陳貝貝，連雙，
申請(專利權)人：鄭州云海信息技術有限公司，
類型：發明
國別省市：河南,41