采用容器分類模式進行分布式數據存儲的實現方法技術

本發明專利技術公開了采用容器分類模式進行分布式數據存儲的實現方法，所述方法采用Docker容器構建一個虛擬的存儲管理中間層，在該層中進行存儲數據的存儲前的處理，首先對儲存數據進行數據特征的提取，生成數據存儲的MD5值，將該值保存在數據存儲特征表中；然后根據數據特征進行分類，同一類的數據進行相同的處理操作；再根據一致性哈希數據分布算法，計算出每個存儲服務器的節點的滿負荷容量，形成節點容量哈希表；最后，根據特征表和哈希表對數據進行不同方式的存儲。本發明專利技術方法屬于計算機云計算領域，通過采用容器中分類管理的模式進行分布式數據存儲的實現，采用容器技術來進行云計算相關的計算，能夠應用于云計算軟件產品中，提高存儲的規模和速度。

Method for implementing distributed data storage by adopting container classification mode

The invention discloses a method for realizing the classification model of distributed data storage container, the method uses Docker container to build a virtual storage management layer, processing data stored in the memory before the first data extraction layer, characteristics of data storage, generate data stored MD5 value, the the value stored in the table to store the feature data; and then classified according to the data characteristics, the same type of data for processing the same; then according to the consistency of the hash data distribution algorithm, calculate the full load capacity of each storage server node, node capacity hash table; finally, according to the characteristics of table and hash table different ways of data storage. The method of the invention belongs to the computer field of cloud computing, realize distributed data storage through the use of classified management in the container model, to carry out cloud related calculation using the container technology, can be applied to cloud computing software products, improve the storage speed and scale.

【技術實現步驟摘要】
采用容器分類模式進行分布式數據存儲的實現方法
本專利技術涉及計算機分布式存儲
，具體涉及一種采用容器分類模式進行分布式數據存儲的實現方法。
技術介紹
分布式數據存儲方式是將數據分散存儲在多臺獨立的設備上，分布式存儲設備要滿足高速的數據加載、高速的數據查詢和高利用率的存儲空間等特性。分布式存儲技術并不是將數據存儲在某個或多個特定的節點上，而是通過網絡使用企業中的每臺機器上的磁盤空間，并將這些分散的存儲資源構成一個虛擬的存儲設備，數據分散的存儲在企業的各個角落。在當前基于冗余的分布式存儲系統設計中,主要設計思路可以分為兩類:一類是基于復制的方法,另一類是基于秘密共享的方法。分布式數據存儲過程，如圖1所示。一致性哈希數據分布算法的基本原理是用一個首尾相接的圓環，在該圓環上按順時針方向分布整個哈希值。使用哈希函數H將各個存儲節點服務器的IP或主機名進行哈希運算，根據哈希運算的值就能確頂每個存儲節點在哈希環上的位置。Docker容器和文件夾很類似，一個Docker容器包含了所有的某個應用運行所需要的環境。每一個Docker容器都是從Docker鏡像創建的。Docker容器可以運行、開始、停止、移動和刪除。每一個Docker容器都是獨立和安全的應用平臺，Docker容器是Docker的運行部分。
技術實現思路
本專利技術要解決的技術問題是：本專利技術針對以上問題，提供一種采用容器分類模式進行分布式數據存儲的實現方法。本專利技術所采用的技術方案為：采用容器分類模式進行分布式數據存儲的實現方法，所述方法采用Docker容器構建一個虛擬的存儲管理中間層，在該層中進行存儲數據的存儲前的處理，首先對儲存數據進行數據特征的提取，生成數據存儲的MD5值，將該值保存在數據存儲特征表中；然后根據數據特征進行分類，同一類的數據進行相同的處理操作；再根據一致性哈希數據分布算法，計算出每個存儲服務器的節點的滿負荷容量，形成節點容量哈希表；最后，根據特征表和哈希表對數據進行不同方式的存儲。所述特征數據的分類包括結構化數據、半結構化數據和非結構化數據三類。所述方法對于需要進行備份保存的數據，采用復制的方法形成數據副本進行額外的存儲。所述數據存儲的方式包括行存儲模式、列存儲模式、行列結合模式、哈希存儲模式。所述哈希存儲模式采用信息分散算法進行不同類型的分散存儲。本專利技術的有益效果為：本專利技術方法屬于計算機云計算領域，通過采用容器中分類管理的模式進行分布式數據存儲的實現，采用容器技術來進行云計算相關的計算，能夠應用于云計算軟件產品中，提高存儲的規模和速度。附圖說明圖1為分布式數據存儲過程示意圖；圖2為采用容器中分類管理的模式進行分布式數據存儲過程示意圖。具體實施方式下面根據說明書附圖，結合具體實施方式對本專利技術進一步說明：實施例1如圖2所示，采用容器分類模式進行分布式數據存儲的實現方法，所述方法采用Docker容器構建一個虛擬的存儲管理中間層，在該層中進行存儲數據的存儲前的處理，首先對儲存數據進行數據特征的提取，生成數據存儲的MD5值，將該值保存在數據存儲特征表中；然后根據數據特征進行分類，同一類的數據進行相同的處理操作；再根據一致性哈希數據分布算法，計算出每個存儲服務器的節點的滿負荷容量，形成節點容量哈希表；最后，根據特征表和哈希表對數據進行不同方式的存儲。實施例2在實施例1的基礎上，本實施例所述特征數據的分類包括結構化數據、半結構化數據和非結構化數據三類。實施例3在實施例1或2的基礎上，本實施例所述方法對于需要進行備份保存的數據，采用復制的方法形成數據副本進行額外的存儲。實施例4在實施例3的基礎上，本實施例所述數據存儲的方式包括行存儲模式、列存儲模式、行列結合模式、哈希存儲模式。實施例5在實施例4的基礎上，本實施例所述哈希存儲模式采用信息分散算法進行不同類型的分散存儲。實施方式僅用于說明本專利技術，而并非對本專利技術的限制，有關
的普通技術人員，在不脫離本專利技術的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術方案也屬于本專利技術的范疇，本專利技術的專利保護范圍應由權利要求限定。本文檔來自技高網...

【技術保護點】
采用容器分類模式進行分布式數據存儲的實現方法，其特征在于，所述方法采用Docker容器構建一個虛擬的存儲管理中間層，在該層中進行存儲數據的存儲前的處理，首先對儲存數據進行數據特征的提取，生成數據存儲的MD5值，將該值保存在數據存儲特征表中；然后根據數據特征進行分類，同一類的數據進行相同的處理操作；再根據一致性哈希數據分布算法，計算出每個存儲服務器的節點的滿負荷容量，形成節點容量哈希表；最后，根據特征表和哈希表對數據進行不同方式的存儲。

【技術特征摘要】
1.采用容器分類模式進行分布式數據存儲的實現方法，其特征在于，所述方法采用Docker容器構建一個虛擬的存儲管理中間層，在該層中進行存儲數據的存儲前的處理，首先對儲存數據進行數據特征的提取，生成數據存儲的MD5值，將該值保存在數據存儲特征表中；然后根據數據特征進行分類，同一類的數據進行相同的處理操作；再根據一致性哈希數據分布算法，計算出每個存儲服務器的節點的滿負荷容量，形成節點容量哈希表；最后，根據特征表和哈希表對數據進行不同方式的存儲。2.根據權利要求1所述的采用容器分類模式進行分布式數據存儲的實現方法，其特征在于，...

【專利技術屬性】
技術研發人員：宋健健，戴鴻君，于治樓，
申請(專利權)人：濟南浪潮高新科技投資發展有限公司，
類型：發明
國別省市：山東,37