分布式數據存儲系統中一致性動態調整方法及裝置制造方法及圖紙

本發明專利技術提供一種分布式數據存儲系統中一致性動態調整方法及裝置。該方法，包括：所述協調節點獲取分布式數據存儲系統的性能參數；所述協調節點根據所述性能參數，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲；所述協調節點根據每個應答數目對應的不一致性的概率和系統延遲，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一應答數目；所述至少一個第一應答數目用于動態調整一致性等級。本發明專利技術能夠實時自動地對分布式數據存儲系統當前的運行狀態作出符合用戶延遲要求以及一致性要求的一致性等級的選擇。

Method and device for dynamically adjusting consistency in distributed data storage system

The invention provides a method and a device for dynamically adjusting consistency in a distributed data storage system. The method includes: performance parameters of the coordinate nodes to obtain the distributed data storage system; the coordinator node according to the performance parameter, the delay probability and inconsistency of the calculation system user requests the distributed data storage system in the return required for each copy number corresponding to the response delay probability and system coordination; each node according to the response number corresponding to the inconsistency of the acquisition probability and inconsistent system delay meet at least one of the first number of replies to preset conditions; the at least one first order response by adjusting the consistency level in dynamic. The invention can automatically and automatically select the consistency level of the distributed data storage system to meet the requirements of user delay and consistency.

【技術實現步驟摘要】

本專利技術涉及分布式數據存儲系統
，尤其涉及一種分布式數據存儲系統中一致性動態調整方法及裝置。
技術介紹
對于一個分布式數據存儲系統來說，CAP定理指出，最多只能在一致性、可用性及網絡分割容忍性三者中挑選兩個。隨著研究人員在分布式數據存儲系統領域的不斷探索和實踐，提出了如下PACELC理論：(1)當副本節點間的網絡出現分割時，分布式數據存儲系統需要在強一致性和可用性之間進行取舍；(2)當未出現網絡分割時，分布式數據存儲系統需要在強一致性和請求延遲之間進行權衡。因此，系統設計人員需要在這兩個權衡之間進行選擇。但由于一個分布式數據存儲系統出現網絡分割的情況比較少見，因此大多數時間面臨的是一致性與延遲之間的權衡。因此如何在一致性與延遲間做好權衡是一個重要的研究課題。由PACELC理論可知，選擇不同的一致性等級會引起系統延遲的變化。現有技術中，很多分布式數據存儲系統提供多個一致性等級供應用開發人員選擇。應用開發人員在開發或者部署應用時必須要配置一致性等級。在這個階段配置的一致性等級將會在應用的運行期間不能夠動態改變，因此分布式數據存儲系統也就不能根據系統的當前狀態動態調整一致性等級從而達到控制系統延遲的目標。因此，如何通過動態調整一致性等級，達到滿足系統延遲需求的目標是本領域技術人員亟需解決的技術問題。
技術實現思路
本專利技術提供一種分布式數據存儲系統中一致性動態調整方法及裝置，以實現通過動態調整一致性等級，達到滿足系統延遲需求的目標。第一方面，本專利技術提供一種分布式數據存儲系統中一致性動態調整方法，應用于分布式數據存儲系統中，所述分布式數據存儲系統包括：客戶端、至少兩個服務器和數據庫，所述至少兩個服務器包括一個協調節點和至少一個副本節點，所述方法包括：所述協調節點獲取分布式數據存儲系統的性能參數；所述協調節點根據所述性能參數，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲；所述協調節點根據每個副本應答數目對應的不一致性的概率和系統延遲，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一副本應答數目；所述至少一個第一副本應答數目用于動態調整一致性等級?？蛇x地，所述性能參數包括：靜態參數和動態參數；所述靜態參數包括：所述協調節點失效的時間閾值、所述協調節點發送心跳的間隔時間；所述動態參數包括：副本節點崩潰的概率、所述協調節點向所述副本節點發送提交消息的延遲、所述副本節點向所述協調節點發送響應消息的延遲；所述副本節點崩潰的概率包括：所述協調節點與所述副本節點的網絡連接失敗概率，所述副本節點連接數據庫失敗的概率?？蛇x地，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲，包括：根據如下公式(1)計算所述不一致性的概率；Pwc＝Pwl+Pwd(1)；其中，Pwc表示不一致性的概率；Pwd＝(1-Pc)PgfsPno；其中，Pelw(m)表示當有副本節點崩潰時已經完成寫操作的節點數目的經驗概率密度函數，Pc表示副本節點崩潰的概率；其中，Pfs表示一個副本節點誤判協調節點失效的概率；n表示數據的副本個數；d表示用戶請求的返回所需等待的副本應答數目；根據如下公式(2)計算所述系統延遲；E(Lw(d+1)-Lw(d))=n-1d-1(∫0+∞(G(t))d-1(1-G(t))n-d)dt---(2);]]>其中，G(t)表示g(t)的累積概率密度函數；f(t)表示兩個節點間消息延遲的概率密度函數；Lw(d)表示所述分布式數據存儲系統在一致性等級為d時，接收用戶請求到返回用戶請求的延遲；Lw(d+1)表示所述分布式數據存儲系統在一致性等級為d+1時，接收用戶請求到返回用戶請求的延遲；E(Lw(d+1)-Lw(d))表示Lw(d+1)-Lw(d)的期望值。可選地，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一副本應答數目，包括：當所述不一致性的概率小于預設條件中的不一致性的概率閾值且所述系統延遲小于預設條件中的系統延遲閾值時，則所述不一致性的概率和所述系統延遲對應的副本應答數目為所述第一副本應答數目?？蛇x地，還包括：所述協調節點接收所述副本節點的請求；所述協調節點將所述副本節點的請求發送給所述分布式數據存儲系統中所有的副本節點；所述協調節點接收到所述第一應答數目的副本節點的響應后，將所述副本節點的請求進行提交。第二方面，本專利技術提供一種分布式數據存儲系統中一致性動態調整裝置，應用于分布式數據存儲系統中，所述分布式數據存儲系統包括：客戶端、至少兩個服務器和數據庫，所述至少兩個服務器包括一個協調節點和至少一個副本節點，所述裝置包括：獲取模塊，用于獲取分布式數據存儲系統的性能參數；計算模塊，用于根據所述性能參數，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲；處理模塊，用于根據每個副本應答數目對應的不一致性的概率和系統延遲，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一副本應答數目；所述至少一個第一副本應答數目用于動態調整一致性等級?？蛇x地，所述性能參數包括：靜態參數和動態參數；所述靜態參數包括：所述協調節點失效的時間閾值、所述協調節點發送心跳的間隔時間；所述動態參數包括：副本節點崩潰的概率、所述協調節點向所述副本節點發送提交消息的延遲、所述副本節點向所述協調節點發送響應消息的延遲；所述副本節點崩潰的概率包括：所述協調節點與所述副本節點的網絡連接失敗概率，所述副本節點連接數據庫失敗的概率?？蛇x地，所述計算模塊，具體用于：根據如下公式(1)計算所述不一致性的概率；Pwc＝Pwl+Pwd(1)；其中，Pwc表示不一致性的概率；Pwd＝(1-Pc)PgfsPno；其中，Pelw(m)表示當有副本節點崩潰時已經完成寫操作的節點數目的經驗概率密度函數，Pc表示副本節點崩潰的概率；其中，Pfs表示一個副本節點誤判協調節點失效的概率；n表示數據的副本個數；d表示用戶請求的返回所需等待的副本應答數目；根據如下公式(2)計算所述系統延遲；E(Lw(d+1)-Lw(d))=n-1d-1(∫0+∞(G(t))d-1(1-G(t))n-d)dt---(2);]]>其中，G(t)表示g(t)的累積概率密度函數；f(t)表示兩個節點間消息延遲的概率密度函數；Lw(d)表示所述分布式數據存儲系統在一致性等級為d時，接收用戶請求到返回用戶請求的延遲；Lw(d+1)表示所述分布式數據存儲系統在一致性等級為d+1時，接收用戶請求到返回用戶請求的延遲；E(Lw(d+1)-Lw(d))表示Lw(d+1)-Lw(d)的期望值?？蛇x地，所述處理模塊，具體用于：當所述不一致性的概率小于預設條件中的不一致性的概率閾值且所述系統延遲小于預設條件中的系統延遲閾值時，則所述不一致性的概率和所述系統延遲對應的副本應答數目為所述第一副本應答數目?？蛇x地，還包括：接收模塊，用于接收所述副本節點的請求；發送模塊，用于將所述副本節點的請求發送給所述分布式數據存儲系統中所有的副本節點；所述處理模塊，還用于接收到所述第一應答數目的副本節點的響應后，將所述副本節點的請本文檔來自技高網...

【技術保護點】
一種分布式數據存儲系統中一致性動態調整方法，其特征在于，應用于分布式數據存儲系統中，所述分布式數據存儲系統包括：客戶端、至少兩個服務器和數據庫，所述至少兩個服務器包括一個協調節點和至少一個副本節點，所述方法包括：所述協調節點獲取分布式數據存儲系統的性能參數；所述協調節點根據所述性能參數，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲；所述協調節點根據每個副本應答數目對應的不一致性的概率和系統延遲，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一副本應答數目；所述至少一個第一副本應答數目用于動態調整一致性等級。

【技術特征摘要】
1.一種分布式數據存儲系統中一致性動態調整方法，其特征在于，應用于分布式數據存儲系統中，所述分布式數據存儲系統包括：客戶端、至少兩個服務器和數據庫，所述至少兩個服務器包括一個協調節點和至少一個副本節點，所述方法包括：所述協調節點獲取分布式數據存儲系統的性能參數；所述協調節點根據所述性能參數，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲；所述協調節點根據每個副本應答數目對應的不一致性的概率和系統延遲，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一副本應答數目；所述至少一個第一副本應答數目用于動態調整一致性等級。2.根據權利要求1所述的方法，其特征在于，所述性能參數包括：靜態參數和動態參數；所述靜態參數包括：所述協調節點失效的時間閾值、所述協調節點發送心跳的間隔時間；所述動態參數包括：副本節點崩潰的概率、所述協調節點向所述副本節點發送提交消息的延遲、所述副本節點向所述協調節點發送響應消息的延遲；所述副本節點崩潰的概率包括：所述協調節點與所述副本節點的網絡連接失敗概率，所述副本節點連接數據庫失敗的概率。3.根據權利要求2所述的方法，其特征在于，計算所述分布式數據存儲系統中用戶請求的返回所需等待的每個副本應答數目對應的不一致性的概率和系統延遲，包括：根據如下公式(1)計算所述不一致性的概率；Pwc＝Pwl+Pwd(1)；其中，Pwc表示不一致性的概率；Pwd＝(1-Pc)PgfsPno；其中，Pelw(m)表示當有副本節點崩潰時已經完成寫操作的節點數目的經驗概率密度函數，Pc表示副本節點崩潰的概率；其中，Pfs表示一個副本節點誤判協調節點失效的概率；n表示數據的副本個數；d表示用戶請求的返回所需等待的副本應答數目；根據如下公式(2)計算所述系統延遲；E(Lw(d+1)-Lw(d))=n-1d-1(∫0+∞(G(t))d-1(1-G(t))n-d)dt---(2);]]>其中，G(t)表示g(t)的累積概率密度函數；f(t)表示兩個節點間消息延遲的概率密度函數；Lw(d)表示所述分布式數據存儲系統在一致性等級為d時，接收用戶請求到返回用戶請求的延遲；Lw(d+1)表示所述分布式數據存儲系統在一致性等級為d+1時，接收用戶請求到返回用戶請求的延遲；E(Lw(d+1)-Lw(d))表示Lw(d+1)-Lw(d)的期望值。4.根據權利要求3所述的方法，其特征在于，獲取不一致性的概率和系統延遲滿足預設條件的至少一個第一副本應答數目，包括：當所述不一致性的概率小于預設條件中的不一致性的概率閾值且所述系統延遲小于預設條件中的系統延遲閾值時，則所述不一致性的概率和所述系統延遲對應的副本應答數目為所述第一副本應答數目。5.根據權利要求1-4任一項所述的方法，其特征在于，還包括：所述協調節點接收所述副本節點的請求；所述協調節點將所述副本節點的請求發送給所述分布式數據存儲系統中所有的副本節點；所述協調節點接收到所述第一應...

【專利技術屬性】
技術研發人員：王旭，孫海龍，夏正林，肖邦，唐宇，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：北京;11