分布式存儲(chǔ)系統(tǒng)管理裝置及方法制造方法及圖紙

本申請(qǐng)公開(kāi)了一種分布式存儲(chǔ)系統(tǒng)管理裝置，應(yīng)用于包括N個(gè)存儲(chǔ)服務(wù)器的分布式存儲(chǔ)系統(tǒng)，該裝置將其中M個(gè)存儲(chǔ)服務(wù)器分為x個(gè)對(duì)等序列并形成y個(gè)虛擬節(jié)點(diǎn)組，且每個(gè)虛擬節(jié)點(diǎn)組中包括z個(gè)彼此屬于不同對(duì)等序列的存儲(chǔ)服務(wù)器，其余N-M個(gè)存儲(chǔ)服務(wù)器為臨時(shí)存儲(chǔ)服務(wù)器。本申請(qǐng)還相應(yīng)公開(kāi)了一種分布式存儲(chǔ)系統(tǒng)管理方法。本申請(qǐng)實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)管理裝置及方法，通過(guò)對(duì)等序列及虛擬節(jié)點(diǎn)組的雙重功能劃分對(duì)存儲(chǔ)服務(wù)器進(jìn)行管理，能夠保證數(shù)據(jù)備份在虛擬節(jié)點(diǎn)組中分屬不同對(duì)等序列的存儲(chǔ)服務(wù)器中，從而在某個(gè)對(duì)等序列中的存儲(chǔ)服務(wù)器失效時(shí)可以繼續(xù)由該虛擬節(jié)點(diǎn)組中其他對(duì)等序列的存儲(chǔ)服務(wù)器提供數(shù)據(jù)讀寫(xiě)服務(wù)。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本申請(qǐng)涉及分布式存儲(chǔ)
，尤其涉及一種具有高可用存儲(chǔ)失效處理能力的 。
技術(shù)介紹
傳統(tǒng)的存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能 的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式存儲(chǔ)系統(tǒng)采 用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，通過(guò)利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，并利用位置服務(wù)器定位存 儲(chǔ)信息，不僅提高了系統(tǒng)的可靠性、可用性和存取效率，還使得后續(xù)的擴(kuò)展更為便利。另一方面，在各種應(yīng)用環(huán)境中，存儲(chǔ)系統(tǒng)中的數(shù)據(jù)都是寶貴的財(cái)富，各種存儲(chǔ)系統(tǒng) 均會(huì)致力于保證所存儲(chǔ)的數(shù)據(jù)不因各種原因丟失。在分布式存儲(chǔ)系統(tǒng)中，個(gè)別存儲(chǔ)服務(wù)器 的宕機(jī)、停機(jī)維護(hù)或網(wǎng)絡(luò)故障等問(wèn)題都有可能導(dǎo)致數(shù)據(jù)的丟失，甚至可能會(huì)導(dǎo)致整個(gè)存儲(chǔ) 系統(tǒng)的不可用，進(jìn)而會(huì)影響到存儲(chǔ)系統(tǒng)所服務(wù)的應(yīng)用系統(tǒng)的可用性。為了避免這種狀況的 發(fā)生，分布式存儲(chǔ)系統(tǒng)中通常采用以下兩種存儲(chǔ)失效處理機(jī)制，同時(shí)，這兩種機(jī)制也都各自 存在一定的缺點(diǎn)。第一種存儲(chǔ)失效處理機(jī)制中，是將兩個(gè)不同的物理存儲(chǔ)服務(wù)器配置為主從服務(wù) 器，例如服務(wù)器A (主服務(wù)器)和服務(wù)器B (從服務(wù)器)，正常情況下應(yīng)用系統(tǒng)訪問(wèn)服務(wù)器A 進(jìn)行數(shù)據(jù)的讀取和寫(xiě)入，并且寫(xiě)入服務(wù)器A的數(shù)據(jù)會(huì)同步至服務(wù)器B ;—旦服務(wù)器A發(fā)生宕 機(jī)等故障，應(yīng)用系統(tǒng)便切換至服務(wù)器B進(jìn)行數(shù)據(jù)讀寫(xiě)；而在服務(wù)器A恢復(fù)正常后，再將服務(wù) 器B的數(shù)據(jù)回遷到服務(wù)器A上。該機(jī)制的缺點(diǎn)在于，首先，正常情況下，從主服務(wù)器到從服 務(wù)器的數(shù)據(jù)同步也會(huì)存在延時(shí)，當(dāng)主服務(wù)器出現(xiàn)故障時(shí)，可能會(huì)導(dǎo)致小部分?jǐn)?shù)據(jù)無(wú)法及時(shí) 同步到從服務(wù)器，從而出現(xiàn)數(shù)據(jù)丟失；其次，主服務(wù)器從故障恢復(fù)正常后，需要將從服務(wù)器 的數(shù)據(jù)遷回主服務(wù)器，由于此期間從服務(wù)器的數(shù)據(jù)一直在不斷寫(xiě)入，所以這個(gè)遷回過(guò)程會(huì) 比較復(fù)雜；最后，一旦主服務(wù)器、從服務(wù)器同時(shí)都出現(xiàn)故障，便會(huì)導(dǎo)致存儲(chǔ)系統(tǒng)完全不可用。另外一種新近出現(xiàn)的存儲(chǔ)失效處理機(jī)制中，應(yīng)用系統(tǒng)在進(jìn)行數(shù)據(jù)寫(xiě)入時(shí)，是將同 一個(gè)數(shù)據(jù)寫(xiě)入到多個(gè)(例如3個(gè))彼此不相關(guān)聯(lián)的服務(wù)器上，只要成功寫(xiě)入一定數(shù)量(例 如2個(gè))的服務(wù)器即認(rèn)定為寫(xiě)入操作完成；而應(yīng)用系統(tǒng)在進(jìn)行數(shù)據(jù)讀取時(shí)，便到上述多個(gè)服 務(wù)器上同時(shí)讀取，只要從一定數(shù)量(例如2個(gè))的服務(wù)器上讀取成功便認(rèn)定為讀取操作完 成。由上述可以看出，該機(jī)制是通過(guò)數(shù)據(jù)備份的數(shù)量來(lái)彌補(bǔ)可能的服務(wù)器故障所造成的存 儲(chǔ)失效，其缺點(diǎn)在于，應(yīng)用系統(tǒng)的數(shù)據(jù)讀取和寫(xiě)入操作都需要同時(shí)訪問(wèn)多個(gè)服務(wù)器，然而寫(xiě) 入操作并不能保證每次寫(xiě)入的數(shù)據(jù)完全不出差錯(cuò)，而讀取操作便可能會(huì)讀取到不一致的數(shù) 據(jù)，這樣應(yīng)用系統(tǒng)在讀取數(shù)據(jù)時(shí)還需要進(jìn)行數(shù)據(jù)校驗(yàn)并修復(fù)不正確的數(shù)據(jù)，因此整個(gè)過(guò)程 實(shí)現(xiàn)比較復(fù)雜且會(huì)導(dǎo)致系統(tǒng)性能變差。
技術(shù)實(shí)現(xiàn)思路
本申請(qǐng)的實(shí)施例旨在提供一種，以解決上述分布式系統(tǒng)中存儲(chǔ)失效處理機(jī)制所存在的問(wèn)題。為實(shí)現(xiàn)上述目的，本申請(qǐng)的實(shí)施例提供了一種分布式存儲(chǔ)系統(tǒng)管理裝置，應(yīng)用于包括N個(gè)存儲(chǔ)服務(wù)器的分布式存儲(chǔ)系統(tǒng)，該裝置包括分組管理單元、數(shù)據(jù)寫(xiě)入單元及數(shù)據(jù)讀取單元，其中，所述分組管理單元用于將所述N個(gè)存儲(chǔ)服務(wù)器中的M個(gè)存儲(chǔ)服務(wù)器分為X個(gè)對(duì)等序列并形成I個(gè)虛擬節(jié)點(diǎn)組，且每個(gè)虛擬節(jié)點(diǎn)組中包括z個(gè)彼此屬于不同對(duì)等序列的存儲(chǔ)服務(wù)器，其余N-M個(gè)存儲(chǔ)服務(wù)器為臨時(shí)存儲(chǔ)服務(wù)器，上述N、M、x、y為自然數(shù)常量且滿足 N>3，2<M<N，x>2，y>l，x*y>M;zS 自然數(shù)變量且滿足2 彡 z 彡 x ;所述數(shù)據(jù)寫(xiě)入單元用于將數(shù)據(jù)寫(xiě)入到選擇的一個(gè)虛擬節(jié)點(diǎn)組的每個(gè)存儲(chǔ)服務(wù)器中，并在該虛擬節(jié)點(diǎn)組的部分存儲(chǔ)服務(wù)器不可用時(shí)，將該數(shù)據(jù)寫(xiě)入到該虛擬節(jié)點(diǎn)組剩余可用的存儲(chǔ)服務(wù)器以及所述臨時(shí)存儲(chǔ)服務(wù)器中；所述數(shù)據(jù)讀取單元用于從數(shù)據(jù)被寫(xiě)入的虛擬節(jié)點(diǎn)組中任一可用的存儲(chǔ)服務(wù)器處讀取該數(shù)據(jù)。本申請(qǐng)的實(shí)施例還提供一種分布式存儲(chǔ)系統(tǒng)管理方法，應(yīng)用于包括N個(gè)存儲(chǔ)服務(wù)器的分布式存儲(chǔ)系統(tǒng)，并包括以下步驟S1.將M個(gè)存儲(chǔ)服務(wù)器分為X個(gè)對(duì)等序列并形成y個(gè)虛擬節(jié)點(diǎn)組，且每個(gè)虛擬節(jié)點(diǎn)組中包括z個(gè)彼此屬于不同對(duì)等序列的存儲(chǔ)服務(wù)器，其余N-M個(gè)存儲(chǔ)服務(wù)器為臨時(shí)存儲(chǔ)服務(wù)器，上述N、M、x、y為自然數(shù)常量且滿足N彡3，2<M<N，x彡2，y彡l，x*y彡M;z 為自然數(shù)變量且滿足2<ζ<χ;S21.在執(zhí)行數(shù)據(jù)寫(xiě)入操作時(shí)將數(shù)據(jù)寫(xiě)入到選擇的一個(gè)虛擬節(jié)點(diǎn)組的每個(gè)存儲(chǔ)服務(wù)器中，并在該虛擬節(jié)點(diǎn)組的部分存儲(chǔ)服務(wù)器不可用時(shí)，將該數(shù)據(jù)寫(xiě)入到該虛擬節(jié)點(diǎn)組剩余可用的存儲(chǔ)服務(wù)器以及所述臨時(shí)存儲(chǔ)服務(wù)器中；S22.在執(zhí)行數(shù)據(jù)讀取操作時(shí)從數(shù)據(jù)被寫(xiě)入的虛擬節(jié)點(diǎn)組中任一可用的存儲(chǔ)服務(wù)器處讀取該數(shù)據(jù)。 由上述技術(shù)方案可知，本申請(qǐng)實(shí)施例提供的，通過(guò)對(duì)等序列及虛擬節(jié)點(diǎn)組的雙重功能劃分對(duì)存儲(chǔ)服務(wù)器進(jìn)行管理，能夠保證數(shù)據(jù)備份在虛擬節(jié)點(diǎn)組中分屬不同對(duì)等序列的存儲(chǔ)服務(wù)器中，從而在某個(gè)對(duì)等序列中的存儲(chǔ)服務(wù)器失效時(shí)可以繼續(xù)由該虛擬節(jié)點(diǎn)組中其他對(duì)等序列的存儲(chǔ)服務(wù)器提供數(shù)據(jù)讀寫(xiě)服務(wù)。附圖說(shuō)明圖1為本申請(qǐng)分布式存儲(chǔ)系統(tǒng)管理裝置實(shí)施例的結(jié)構(gòu)示意圖2為本申請(qǐng)分布式存儲(chǔ)系統(tǒng)管理方法實(shí)施例一的流程圖3為本申請(qǐng)分布式存儲(chǔ)系統(tǒng)管理方法實(shí)施例二的流程圖。具體實(shí)施方式下面將詳細(xì)描述本申請(qǐng)的具體實(shí)施例。應(yīng)當(dāng)注意，這里描述的實(shí)施例只用于舉例說(shuō)明，并不用于限制本申請(qǐng)。圖1為本申請(qǐng)分布式存儲(chǔ)系統(tǒng)管理裝置實(shí)施例的結(jié)構(gòu)示意圖，如圖所示，本實(shí)施例的分布式存儲(chǔ)系統(tǒng)管理裝置11，用于對(duì)包括N個(gè)存儲(chǔ)服務(wù)器121 12Ν的分布式存儲(chǔ)系統(tǒng)進(jìn)行管理。分布式存儲(chǔ)系統(tǒng)管理裝置11進(jìn)一步包括分組管理單元110，其用于對(duì)上述分布式存儲(chǔ)系統(tǒng)中的N個(gè)存儲(chǔ)服務(wù)器121 12N進(jìn)行分組管理，具體包括在存儲(chǔ)服務(wù)器121 12N中，選取M個(gè)存儲(chǔ)服務(wù)器劃分為X個(gè)對(duì)等序列，每個(gè)對(duì)等序列中包含一定數(shù)量的存儲(chǔ)服務(wù)器，在一個(gè)實(shí)施例中，每個(gè)對(duì)等序列包含的存儲(chǔ)服務(wù)器的個(gè)數(shù)相同，當(dāng)然每個(gè)對(duì)等序列中包含的服務(wù)器的個(gè)數(shù)也可以不相同；接下來(lái)，繼續(xù)將上述所選取的M個(gè)存儲(chǔ)服務(wù)器劃分為I個(gè)虛擬節(jié)點(diǎn)組，且使得每個(gè)虛擬節(jié)點(diǎn)組中都包括z個(gè)彼此屬于不同對(duì)等序列的存儲(chǔ)服務(wù)器；最后，將其余N-M個(gè)存儲(chǔ)服務(wù)器設(shè)置為臨時(shí)存儲(chǔ)服務(wù)器。上述各字母所表示的量中，N、M、X、y為自然數(shù)常量且其取值分別滿足N彡3，2彡M < N，X彡2，y彡1， X · y彡M( “ · ”為乘法標(biāo)記)；z為自然數(shù)變量且取值滿足2彡z彡X。在一個(gè)實(shí)施例中， z可以是自然數(shù)常量，也即，使得每個(gè)虛擬節(jié)點(diǎn)組中存儲(chǔ)服務(wù)器的個(gè)數(shù)相同，在這種情況下， 為了滿足每個(gè)虛擬節(jié)點(diǎn)組中各個(gè)存儲(chǔ)服務(wù)器彼此屬于不同對(duì)等序列，實(shí)際上x(chóng)、y、M的取值需要滿足M = X · y,而此時(shí)z = X。下面結(jié)合數(shù)組的概念可以更好地理解本實(shí)施例中分組管理單元110以對(duì)等序列和虛擬節(jié)點(diǎn)組來(lái)對(duì)M個(gè)存儲(chǔ)服務(wù)器進(jìn)行雙重劃分的過(guò)程。例如，假設(shè)數(shù)組a[x]w如下本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種分布式存儲(chǔ)系統(tǒng)管理裝置，應(yīng)用于包括N個(gè)存儲(chǔ)服務(wù)器的分布式存儲(chǔ)系統(tǒng)，該裝置包括分組管理單元、數(shù)據(jù)寫(xiě)入單元及數(shù)據(jù)讀取單元，其中，所述分組管理單元用于將所述N個(gè)存儲(chǔ)服務(wù)器中的M個(gè)存儲(chǔ)服務(wù)器分為x個(gè)對(duì)等序列并形成y個(gè)虛擬節(jié)點(diǎn)組，且每個(gè)虛擬節(jié)點(diǎn)組中包括z個(gè)彼此屬于不同對(duì)等序列的存儲(chǔ)服務(wù)器，其余N?M個(gè)存儲(chǔ)服務(wù)器為臨時(shí)存儲(chǔ)服務(wù)器，上述N、M、x、y為自然數(shù)常量且滿足：N≥3，2≤M＜N，x≥2，y≥1，x·y≥M；z為自然數(shù)變量且滿足：2≤z≤x；所述數(shù)據(jù)寫(xiě)入單元用于將數(shù)據(jù)寫(xiě)入到選擇的一個(gè)虛擬節(jié)點(diǎn)組的每個(gè)存儲(chǔ)服務(wù)器中，并在該虛擬節(jié)點(diǎn)組的部分存儲(chǔ)服務(wù)器不可用時(shí)，將該數(shù)據(jù)寫(xiě)入到該虛擬節(jié)點(diǎn)組剩余可用的存儲(chǔ)服務(wù)器以及所述臨時(shí)存儲(chǔ)服務(wù)器中；所述數(shù)據(jù)讀取單元用于從數(shù)據(jù)被寫(xiě)入的虛擬節(jié)點(diǎn)組中任一可用的存儲(chǔ)服務(wù)器處讀取該數(shù)據(jù)。

【技術(shù)特征摘要】
1.一種分布式存儲(chǔ)系統(tǒng)管理裝置，應(yīng)用于包括N個(gè)存儲(chǔ)服務(wù)器的分布式存儲(chǔ)系統(tǒng)，該裝置包括分組管理單元、數(shù)據(jù)寫(xiě)入單元及數(shù)據(jù)讀取單元，其中，所述分組管理單元用于將所述N個(gè)存儲(chǔ)服務(wù)器中的M個(gè)存儲(chǔ)服務(wù)器分為X個(gè)對(duì)等序列并形成I個(gè)虛擬節(jié)點(diǎn)組，且每個(gè)虛擬節(jié)點(diǎn)組中包括z個(gè)彼此屬于不同對(duì)等序列的存儲(chǔ)服務(wù)器，其余N-M個(gè)存儲(chǔ)服務(wù)器為臨時(shí)存儲(chǔ)服務(wù)器，上述N、M、X、y為自然數(shù)常量且滿足N > 3，2<M<N，x>2，y>l，x*y>M;zS自然數(shù)變量且滿足2彡z彡x ;所述數(shù)據(jù)寫(xiě)入單元用于將數(shù)據(jù)寫(xiě)入到選擇的一個(gè)虛擬節(jié)點(diǎn)組的每個(gè)存儲(chǔ)服務(wù)器中，并在該虛擬節(jié)點(diǎn)組的部分存儲(chǔ)服務(wù)器不可用時(shí)，將該數(shù)據(jù)寫(xiě)入到該虛擬節(jié)點(diǎn)組剩余可用的存儲(chǔ)服務(wù)器以及所述臨時(shí)存儲(chǔ)服務(wù)器中；所述數(shù)據(jù)讀取單元用于從數(shù)據(jù)被寫(xiě)入的虛擬節(jié)點(diǎn)組中任一可用的存儲(chǔ)服務(wù)器處讀取該數(shù)據(jù)。2.如權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)管理裝置，其中，還包括數(shù)據(jù)遷移單元，所述數(shù)據(jù)遷移單元用于在不可用的存儲(chǔ)服務(wù)器恢復(fù)可用時(shí)，將對(duì)應(yīng)的臨時(shí)存儲(chǔ)服務(wù)器中存儲(chǔ)的數(shù)據(jù)遷回該恢復(fù)可用的存儲(chǔ)服務(wù)器；并用于在不可用的存儲(chǔ)服務(wù)器無(wú)法恢復(fù)可用時(shí)，將該存儲(chǔ)服務(wù)器所在的虛擬節(jié)點(diǎn)組里可用的存儲(chǔ)服務(wù)器中存儲(chǔ)的數(shù)據(jù)遷移至選擇的一個(gè)臨時(shí)存儲(chǔ)服務(wù)器，并以該臨時(shí)存儲(chǔ)服務(wù)器替換所述不可用的存儲(chǔ)服務(wù)器。3.如權(quán)利要求2所述的分布式存儲(chǔ)系統(tǒng)管理裝置，其中，還包括重試控制單元及失效判斷單元，所述重試控制單元用于控制所述數(shù)據(jù)寫(xiě)入單元及所述數(shù)據(jù)讀取單元在執(zhí)行對(duì)應(yīng)的數(shù)據(jù)寫(xiě)入或讀取操作失敗時(shí)按第一預(yù)定次數(shù)重試該數(shù)據(jù)寫(xiě)入或讀取操作；所述失效判斷單元用于在所述重試控制單元控制的重試達(dá)到所述第一預(yù)定次數(shù)時(shí)判斷對(duì)應(yīng)的存儲(chǔ)服務(wù)器為不可用，并將該判斷結(jié)果通知所述數(shù)據(jù)寫(xiě)入單元及所述數(shù)據(jù)讀取單元；以及用于在存儲(chǔ)服務(wù)器被判斷為不可用后，利用所述重試控制單元按第二預(yù)定次數(shù)重復(fù)檢測(cè)該存儲(chǔ)服務(wù)器的狀態(tài)，在檢測(cè)為可用時(shí)判斷該存儲(chǔ)服務(wù)器恢復(fù)可用或者在檢測(cè)為不可用達(dá)到所述第二預(yù)定次數(shù)時(shí)判斷該存儲(chǔ)服務(wù)器無(wú)法恢復(fù)可用，并將該判斷結(jié)果通知所述數(shù)據(jù)遷移單元。4.如權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)管理裝置，其中，還包括數(shù)據(jù)路由單元，所述數(shù)據(jù)路由單元用于確定所述數(shù)據(jù)寫(xiě)入單元寫(xiě)入數(shù)據(jù)以及所述數(shù)據(jù)讀取單元讀取數(shù)據(jù)時(shí)所選擇的虛擬節(jié)點(diǎn)組。5.如權(quán)利要求4所述的分布式存儲(chǔ)系統(tǒng)管理裝置，其中，所述數(shù)據(jù)路由單元還包括路由選擇子單元，所述路由選擇子單元用于分別賦以0、1.....y-1的編號(hào)管理所述y個(gè)虛擬節(jié)點(diǎn)組，并根據(jù)將待寫(xiě)入的數(shù)據(jù)的哈希值對(duì)y取模得到的值選擇與該值對(duì)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李智慧，何坤，余俊，周異，
申請(qǐng)(專利權(quán))人：阿里巴巴集團(tuán)控股有限公司，
類型：發(fā)明
國(guó)別省市：