內存集群的存儲方法及裝置、內存集群的讀取方法及裝置制造方法及圖紙

本發(fā)明專利技術公開了一種內存集群的數(shù)據(jù)存儲方法及裝置、一種內存集群的數(shù)據(jù)讀取方法及裝置，涉及數(shù)據(jù)庫領域。其中的內存集群的數(shù)據(jù)存儲方法包括：基于一致性哈希運算構建各個節(jié)點的原始哈希環(huán)；將原始哈希環(huán)中的各個節(jié)點按照相鄰關系進行分組，使得相鄰節(jié)點具有相同的服務器編號，以構建邏輯哈希環(huán)；按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器；建立各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系。從而使得相鄰節(jié)點存儲在相同的服務器中，使得內存空間內的數(shù)據(jù)挪移和恢復更加高效，降低故障恢復造成的業(yè)務不可用時長。

Storage method and device for memory cluster, reading method and device for memory cluster

The invention discloses a data storage method and a device for a memory cluster, a data reading method and a device for a memory cluster, and relates to the database field. Data storage method includes memory cluster the original hash ring consistency hash construct based on each node; each node in the original hash ring according to the relationship between adjacent groups, the adjacent node has the same number of servers, to construct the logical hash hash ring ring; according to the logic of each node will be stored in the corresponding each node in the server; establish the mapping relation between the original hash hash ring ring and logic. So that adjacent nodes stored in the same server, the memory data diversion and recovery more efficient, reduce the failure recovery caused by the service is not available for long.

【技術實現(xiàn)步驟摘要】
內存集群的存儲方法及裝置、內存集群的讀取方法及裝置
本專利技術涉及數(shù)據(jù)庫領域，特別涉及一種內存集群的數(shù)據(jù)存儲方法及裝置和一種內存集群的讀取方法及裝置。
技術介紹
一致性哈希算法提出了在動態(tài)變化的緩存環(huán)境中，判定哈希算法好壞的四個定義：平衡性：平衡性是指哈希的結果能夠盡可能分布到所有的緩沖中去，這樣可以使得所有的緩沖空間都得到利用。很多哈希算法都能夠滿足這一條件。單調性：單調性是指如果已經(jīng)有一些內容通過哈希分派到了相應的緩沖中，又有新的緩沖加入到系統(tǒng)中。哈希的結果應能夠保證原有已分配的內容可以被映射到原有的或者新的緩沖中去，而不會被映射到舊的緩沖集合中的其他緩沖區(qū)。分散性：在分布式環(huán)境中，終端有可能看不到所有的緩沖，而是只能看到其中的一部分。當終端希望通過哈希過程將內容映射到緩沖上時，由于不同終端所見的緩沖范圍有可能不同，從而導致哈希的結果不一致，最終的結果是相同的內容被不同的終端映射到不同的緩沖區(qū)中。這種情況顯然是應該避免的，因為它導致相同內容被存儲到不同緩沖中去，降低了系統(tǒng)存儲的效率。分散性的定義就是上述情況發(fā)生的嚴重程度。好的哈希算法應能夠盡量避免不一致的情況發(fā)生，也就是盡量降低分散性。負載：負載問題實際上是從另一個角度看待分散性問題。既然不同的終端可能將相同的內容映射到不同的緩沖區(qū)中，那么對于一個特定的緩沖區(qū)而言，也可能被不同的用戶映射為不同的內容。與分散性一樣，這種情況也是應當避免的，因此好的哈希算法應能夠盡量降低緩沖的負荷。如果以單物理機為實例最小單元，按照傳統(tǒng)一致性哈希的環(huán)形空間構建模式，如圖1所示，某個分區(qū)的數(shù)據(jù)將會比較均勻的分布在所有服務器上，在訪問時能夠比較好的起到均衡作用。但如果應對單實例實效，其他節(jié)點托管，然后失效節(jié)點恢復再進行數(shù)據(jù)挪移的情況下，相鄰的實例(即圖中的節(jié)點)在物理上可能分布在不同的服務器上，內存空間內的挪移恢復可能需要在不同物理機間通過網(wǎng)絡傳輸數(shù)據(jù)進行恢復，系統(tǒng)服務可用性差。
技術實現(xiàn)思路
本專利技術所要解決的技術問題是：如何使得相鄰節(jié)點存儲在相同的服務器中，從而使得內存空間內的數(shù)據(jù)挪移和恢復更加高效。根據(jù)本專利技術實施例的一個方面，提供了一種內存集群的數(shù)據(jù)存儲方法，包括：基于一致性哈希運算構建各個節(jié)點的原始哈希環(huán)；將原始哈希環(huán)中的各個節(jié)點按照相鄰關系進行分組，使得相鄰節(jié)點具有相同的服務器編號，以構建邏輯哈希環(huán)；按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器；建立各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系。根據(jù)本專利技術實施例的另一個方面，提供了一種內存集群的數(shù)據(jù)讀取方法，包括：基于一致性哈希運算確定欲讀取數(shù)據(jù)在原始哈希環(huán)上的節(jié)點；根據(jù)各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系，確定欲讀取數(shù)據(jù)在邏輯哈希環(huán)上的節(jié)點；根據(jù)邏輯哈希環(huán)上的節(jié)點對應的服務器編號到相應的服務器進行數(shù)據(jù)的讀取。根據(jù)本專利技術實施例的又一個方面，提供了一種內存集群的數(shù)據(jù)存儲裝置，包括：原始哈希環(huán)構建模塊，用于基于一致性哈希運算構建各個節(jié)點的原始哈希環(huán)；邏輯哈希環(huán)構建模塊，將原始哈希環(huán)中的各個節(jié)點按照相鄰關系進行分組，使得相鄰節(jié)點具有相同的服務器編號，以構建邏輯哈希環(huán)；存儲模塊，用于按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器；映射關系建立模塊，用于建立各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系。根據(jù)本專利技術實施例的再一個方面，提供了一種內存集群的數(shù)據(jù)讀取裝置，包括：節(jié)點確定模塊，用于基于一致性哈希運算確定欲讀取數(shù)據(jù)在原始哈希環(huán)上的節(jié)點，并根據(jù)各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系，確定欲讀取數(shù)據(jù)在邏輯哈希環(huán)上的節(jié)點；數(shù)據(jù)讀取模塊，用于根據(jù)邏輯哈希環(huán)上的節(jié)點對應的服務器編號到相應的服務器進行數(shù)據(jù)的讀取。本專利技術至少具有以下優(yōu)點：通過構建邏輯哈希環(huán)，并建立原始哈希環(huán)與邏輯哈希環(huán)的映射關系，并按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器，使得相鄰節(jié)點存儲在相同的服務器中，從而使得內存空間內的數(shù)據(jù)挪移和恢復更加高效。通過以下參照附圖對本專利技術的示例性實施例的詳細描述，本專利技術的其它特征及其優(yōu)點將會變得清楚。附圖說明為了更清楚地說明本專利技術實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1示出傳統(tǒng)一致性哈希的環(huán)形空間構建模式的示意圖。圖2示出本專利技術內存集群的數(shù)據(jù)存儲方法的一個實施例的流程示意圖。圖3示出本專利技術內存集群的數(shù)據(jù)存儲方法的另一個實施例的流程示意圖。圖4示出本專利技術對原始一級鍵K1的表分區(qū)段進行切分得到分片號的一個實施例示意圖。圖5示出本專利技術對原始一級鍵K1的表分區(qū)段進行切分得到分片號的另一個實施例的示意圖。圖6示出本專利技術內存集群的數(shù)據(jù)讀取方法的一個實施例的示意圖。圖7示出本專利技術內存集群的數(shù)據(jù)存儲裝置的一個實施例的結構示意圖。圖8示出本專利技術切分模塊的一個實施例的結構示意圖。圖9示出本專利技術切分模塊的另一個實施例的結構示意圖。圖10示出本專利技術內存集群的數(shù)據(jù)讀取裝置的一個實施例的示意圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本專利技術及其應用或使用的任何限制。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。下面結合圖2描述本專利技術一個實施例的內存集群的數(shù)據(jù)存儲方法。圖2示出本專利技術內存集群的數(shù)據(jù)存儲方法的一個實施例的流程示意圖。如圖2所示，該實施例的內存集群的數(shù)據(jù)存儲方法包括步驟S202，基于一致性哈希運算構建各個節(jié)點的原始哈希環(huán)。原始哈希環(huán)可以參考現(xiàn)有技術構建。步驟S204，將原始哈希環(huán)中的各個節(jié)點按照相鄰關系進行分組，使得相鄰節(jié)點具有相同的服務器編號，以構建邏輯哈希環(huán)。步驟S206，按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器。步驟S208，建立各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系。上述方法中，通過構建邏輯哈希環(huán)，建立原始哈希環(huán)與邏輯哈希環(huán)的映射關系，并按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器，使得相鄰節(jié)點存儲在相同的服務器中，從而使得內存空間內的數(shù)據(jù)挪移和恢復更加高效。對于內存空間內的數(shù)據(jù)來說，數(shù)據(jù)的分散性越強，數(shù)據(jù)的挪移和恢復越復雜。因此，可以將本專利技術內存集群的數(shù)據(jù)存儲方法與內存集群的存儲均衡方法相結合運用，使得本專利技術的技術效果更加明顯。下面結合圖3描述本專利技術一個實施例的內存集群的數(shù)據(jù)存儲方法。圖3示出本專利技術內存集群的數(shù)據(jù)存儲方法的另一個實施例的流程示意圖。如圖3所示，在圖2所示的實施例基礎上，本實施例還包括：步驟S3012，對原始一級鍵K1的表分區(qū)段進行切分得到分片號。原始一級鍵K1為定制對象DO的原始邏輯鍵，原始一級鍵K1由數(shù)據(jù)庫段、數(shù)據(jù)表段、表分區(qū)段組成。步驟S3014，根據(jù)原始一級鍵K1、分片號生成均衡一級鍵K1’。其中，均衡一級鍵K1’為定制對象DO的均衡邏輯鍵。步驟S3016，采用(K1’，DO)的數(shù)據(jù)存儲形式存儲鍵值數(shù)據(jù)。通過上述方法，對原始一級鍵K1的表分區(qū)段進本文檔來自技高網(wǎng)...

【技術保護點】
一種內存集群的數(shù)據(jù)存儲方法，包括：基于一致性哈希運算構建各個節(jié)點的原始哈希環(huán)；將原始哈希環(huán)中的各個節(jié)點按照相鄰關系進行分組，使得相鄰節(jié)點具有相同的服務器編號，以構建邏輯哈希環(huán)；按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器；建立各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系。

【技術特征摘要】
1.一種內存集群的數(shù)據(jù)存儲方法，包括：基于一致性哈希運算構建各個節(jié)點的原始哈希環(huán)；將原始哈希環(huán)中的各個節(jié)點按照相鄰關系進行分組，使得相鄰節(jié)點具有相同的服務器編號，以構建邏輯哈希環(huán)；按照邏輯哈希環(huán)將各個節(jié)點存儲到相應的服務器；建立各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系。2.根據(jù)權利要求1所述的方法，其特征在于，還包括：對原始一級鍵K1的表分區(qū)段進行切分得到分片號；根據(jù)原始一級鍵K1、分片號生成均衡一級鍵K1’；采用(K1’，DO)的數(shù)據(jù)存儲形式將鍵值數(shù)據(jù)存儲到節(jié)點中；其中，原始一級鍵K1為定制對象DO的原始邏輯鍵，所述原始一級鍵K1由數(shù)據(jù)庫段、數(shù)據(jù)表段、表分區(qū)段組成，均衡一級鍵K1’為定制對象DO的均衡邏輯鍵。3.根據(jù)權利要求2所述的方法，其特征在于，其中，定制對象DO中存儲(K2，V)，二級鍵K2為定制對象DO的數(shù)據(jù)鍵，V為定制對象DO的數(shù)據(jù)值；所述對原始一級鍵K1的表分區(qū)段進行切分得到分片號包括：對原始一級鍵K1和二級鍵K2進行哈希運算；將哈希運算所得哈希值對計劃分片數(shù)M進行取余運算；將取余運算的結果作為分片號。4.根據(jù)權利要求2所述的方法，其特征在于，其中，定制對象DO中存儲(K2，V)，二級鍵K2為定制對象DO的數(shù)據(jù)鍵，V為定制對象DO的數(shù)據(jù)值；所述對原始一級鍵K1的表分區(qū)段進行切分得到分片號包括：對原始一級鍵K1和二級鍵K2進行消息摘要算法第五版md5運算；取md5運算所得摘要值的后n位作為分片號，n位所能表示的最大數(shù)值不大于計劃分片數(shù)M。5.一種內存集群的數(shù)據(jù)讀取方法，包括：基于一致性哈希運算確定欲讀取數(shù)據(jù)在原始哈希環(huán)上的節(jié)點；根據(jù)各個節(jié)點在原始哈希環(huán)和邏輯哈希環(huán)的映射關系，確定欲讀取數(shù)據(jù)在邏輯哈希環(huán)上的節(jié)點；根據(jù)邏輯哈希環(huán)上的節(jié)點對應的服務器編號到相應的服務器進行數(shù)據(jù)的讀取。6.一種內存集群的數(shù)據(jù)存儲裝置，包括：原始哈希環(huán)構建模塊，用于基于一致性哈希...

【專利技術屬性】
技術研發(fā)人員：楊維，
申請(專利權)人：中國電信股份有限公司，
類型：發(fā)明
國別省市：北京,11