一種云存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，對(duì)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)存入和數(shù)據(jù)提取分別采用里的所羅門(mén)編碼數(shù)據(jù)糾錯(cuò)編碼處理和里的所羅門(mén)糾錯(cuò)解碼處理。本發(fā)明專(zhuān)利技術(shù)提高云存儲(chǔ)系統(tǒng)中數(shù)據(jù)的安全性，可恢復(fù)性，降低數(shù)據(jù)備份數(shù)目，可節(jié)約數(shù)據(jù)的存儲(chǔ)空間，降低成本。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及云存儲(chǔ)系統(tǒng)，特點(diǎn)是一種基于里的所羅門(mén)的。
技術(shù)介紹
在當(dāng)今風(fēng)起云涌的時(shí)代，云存儲(chǔ)作為云的基礎(chǔ)架構(gòu)和最廣泛的應(yīng)用得到了極大的重視。在云存儲(chǔ)系統(tǒng)中，用戶(hù)數(shù)據(jù)存放于系統(tǒng)的云端，而構(gòu)成云端的存儲(chǔ)節(jié)點(diǎn)是用戶(hù)不可控的。用戶(hù)的數(shù)據(jù)可能被未經(jīng)授權(quán)的第三方挖掘比對(duì)或者惡意篡改。同時(shí)，在云端單個(gè)或者多個(gè)存儲(chǔ)節(jié)點(diǎn)缺失、失效的情況下(隨著云端的擴(kuò)展，存儲(chǔ)節(jié)點(diǎn)故障的幾率將增加)，用戶(hù)數(shù)據(jù)丟失的可能性極大。上述情況表明，云存儲(chǔ)的發(fā)展亟需 一種能完全保證用戶(hù)數(shù)據(jù)完整性、隱私性和可靠性的安全機(jī)制。目前基于所有的云存儲(chǔ)技術(shù)都是采用一種類(lèi)似Hadoop(云計(jì)算的一種開(kāi)源軟件)系統(tǒng)中的HDFS (Hadoop Distributed File System,即Hadoop分布式文件系統(tǒng))。該技術(shù)主要是將一個(gè)數(shù)據(jù)文件按照設(shè)定的大小分成若干塊，再通過(guò)對(duì)每一個(gè)數(shù)據(jù)完整備份(例如Hadoop中的HDFS設(shè)置有3份相同備份)來(lái)提高可靠性，該技術(shù)的缺點(diǎn)是浪費(fèi)存儲(chǔ)空間。里的所羅門(mén)糾錯(cuò)編碼方法其原理是，計(jì)算信息碼符多項(xiàng)式除以校驗(yàn)碼生成多項(xiàng)式之后的余數(shù)，具體公式是F mod D = C;其中F為原始數(shù)據(jù)，D是生成多項(xiàng)式，C為生成的冗余糾錯(cuò)數(shù)據(jù)。mod為求余運(yùn)算。而在解碼時(shí),為簡(jiǎn)單起見(jiàn),假定存入原始的信息符號(hào)為m3、m2、mQ和由此產(chǎn)生的檢驗(yàn)符號(hào)Q1'Q。，而讀出的符號(hào)為m3' > m2/、m/ > m0/、Q/和Qc/ ,如果計(jì)算由此得到的校正子S0和S1不全為0，則說(shuō)明有差錯(cuò)，再通過(guò)計(jì)算錯(cuò)誤多項(xiàng)式以及錯(cuò)誤值，將錯(cuò)誤糾正過(guò)來(lái)。該方法廣泛應(yīng)用于DVD光盤(pán)數(shù)據(jù)的處理，該編碼方法能很好的提高對(duì)原始數(shù)據(jù)的糾錯(cuò)能力，能將數(shù)據(jù)的隨機(jī)錯(cuò)誤率從2X10—2降低到1X10—15。在本專(zhuān)利技術(shù)中我們將該編碼方法將一個(gè)數(shù)組形式的數(shù)據(jù)塊，在橫向和縱向分別進(jìn)行里的所羅門(mén)編碼，獲得橫向和縱向糾錯(cuò)冗余數(shù)據(jù)，這樣就對(duì)數(shù)據(jù)進(jìn)行了雙重的糾錯(cuò)保護(hù)，提高了糾錯(cuò)能力，而且這些冗余數(shù)據(jù)只占原來(lái)數(shù)據(jù)量的13%。正是由于在較低的數(shù)據(jù)冗余的情況下能如此高效的進(jìn)行數(shù)據(jù)糾錯(cuò)，而一般的云存儲(chǔ)系統(tǒng)均未采取此種糾錯(cuò)方法，只是通過(guò)數(shù)據(jù)備份來(lái)達(dá)到數(shù)據(jù)恢復(fù)的能力，一般云存儲(chǔ)系統(tǒng)均須備份3份及以上，顯然將極大地浪費(fèi)數(shù)據(jù)的存儲(chǔ)空間，提高成本，
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)要解決的技術(shù)問(wèn)題在于，提供了一種，該方法將提高云存儲(chǔ)系統(tǒng)中數(shù)據(jù)的安全性，可恢復(fù)性，降低數(shù)據(jù)備份數(shù)目，極大的節(jié)約數(shù)據(jù)的存儲(chǔ)空間，降低成本。本專(zhuān)利技術(shù)的技術(shù)解決方案如下一種，其特點(diǎn)在于，對(duì)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)存入和數(shù)據(jù)提取分別采用里的所羅門(mén)編碼數(shù)據(jù)糾錯(cuò)編碼處理和里的所羅門(mén)糾錯(cuò)解碼處理。所述的數(shù)據(jù)存入方法，包括以下具體步驟①將待存儲(chǔ)的原始數(shù)據(jù)分成K個(gè)幀數(shù)據(jù)，每個(gè)幀數(shù)據(jù)包含相同的固定長(zhǎng)度N比特的數(shù)據(jù)，當(dāng)最后一個(gè)原始數(shù)據(jù)幀的數(shù)據(jù)長(zhǎng)度小于N時(shí)，對(duì)最后一塊數(shù)據(jù)幀填充數(shù)據(jù)‘0’，以達(dá)到長(zhǎng)度N，其中K為大于大于I的正整數(shù)，N的取值范圍為200 < N < 2000 ②對(duì)所述的每一個(gè)數(shù)據(jù)幀加上編號(hào)，S卩ID，得到一個(gè)新數(shù)據(jù)幀，所述的ID長(zhǎng)為4個(gè)字節(jié)，從0001開(kāi)始遞加，故新的數(shù)據(jù)幀的長(zhǎng)度為(N+4)；③將所述的新的K個(gè)數(shù)據(jù)幀再組合為W個(gè)數(shù)據(jù)塊，每一個(gè)數(shù)據(jù)塊包含M個(gè)數(shù)據(jù)幀，形成一個(gè)M*(N+4)的數(shù)據(jù)矩陣，當(dāng)最后一個(gè)數(shù)據(jù)塊的數(shù)據(jù)幀的個(gè)數(shù)小于M時(shí)，對(duì)該數(shù)據(jù)塊填充‘0’數(shù)據(jù)幀，以使最后一個(gè)數(shù)據(jù)塊達(dá)到固定的數(shù)據(jù)幀M，其中M，W的取值范圍分別為200<M < 2000，W = K/M ；④對(duì)所述的數(shù)據(jù)塊采用里的所羅門(mén)乘積碼糾錯(cuò)編碼方法進(jìn)行糾錯(cuò)編碼將第i個(gè)數(shù)據(jù)塊的行和列分別添加Po，P1個(gè)糾錯(cuò)的冗余數(shù)據(jù)進(jìn)行編碼，轉(zhuǎn)化成一個(gè)包含(M+P0)*(N+4+PI)個(gè)數(shù)據(jù)的里的所羅門(mén)數(shù)據(jù)塊，其中，Ptl, P1分別為數(shù)據(jù)塊中一行和一列增加的用于糾錯(cuò)的冗余數(shù)據(jù)個(gè)數(shù)，且0 <PQ <M/2，0 <PX <M/2，1 < i ^M；⑤將所述的每一個(gè)里的所羅門(mén)數(shù)據(jù)塊按列分解成M+匕個(gè)數(shù)據(jù)片，將同一個(gè)數(shù)據(jù)塊的M+匕個(gè)數(shù)據(jù)片的數(shù)據(jù)分別存儲(chǔ)到云存儲(chǔ)系統(tǒng)的多個(gè)存儲(chǔ)器上，且同一存儲(chǔ)器中，同一個(gè)數(shù)據(jù)塊的片數(shù)< P1A片；所述的數(shù)據(jù)提取方法，包括下列步驟①讀取出屬于同一數(shù)據(jù)塊的數(shù)據(jù)片，如果第i片中出現(xiàn)h/2個(gè)數(shù)據(jù)讀取錯(cuò)誤，根 據(jù)里的所羅門(mén)乘積碼的糾錯(cuò)解碼算法，對(duì)該第i片的數(shù)據(jù)糾錯(cuò)，恢復(fù)出原始數(shù)據(jù)；②讀取完同一數(shù)據(jù)塊的所有的數(shù)據(jù)片，如果在讀取該數(shù)據(jù)塊時(shí)有少于P1A片出現(xiàn)丟失或者無(wú)法讀取，計(jì)算機(jī)按里的所羅門(mén)乘積碼的解碼算法，對(duì)該少于P1A片數(shù)據(jù)糾錯(cuò)，恢復(fù)出原始數(shù)據(jù)；③重復(fù)步驟①、②，讀取并處理完屬于同一個(gè)原始數(shù)據(jù)的所有數(shù)據(jù)塊，去掉糾錯(cuò)冗余數(shù)據(jù)，將所有數(shù)據(jù)塊的新數(shù)據(jù)幀按原編號(hào)ID順序排列，再去掉編號(hào)，得到原始存儲(chǔ)的數(shù)據(jù)。本專(zhuān)利技術(shù)的技術(shù)效果I、本專(zhuān)利技術(shù)的最顯著效果為，對(duì)原始數(shù)據(jù)塊的行和列均進(jìn)行了里的所羅門(mén)糾錯(cuò)編碼，達(dá)到了雙重糾錯(cuò)的能力，并且將這些經(jīng)糾錯(cuò)后的數(shù)據(jù)塊重新分片存儲(chǔ)到云系統(tǒng)中的不同存儲(chǔ)器上，這樣不僅能對(duì)各個(gè)存儲(chǔ)器上的片數(shù)據(jù)能進(jìn)行糾錯(cuò)，并且當(dāng)云系統(tǒng)中有一定數(shù)目的存儲(chǔ)器出現(xiàn)故障造成一些片數(shù)據(jù)不能讀取時(shí)，依然可得到完全的恢復(fù)，這極大的提高了系統(tǒng)的可靠性。2、一般的云存儲(chǔ)系統(tǒng)需要將原始數(shù)據(jù)復(fù)制多份來(lái)確保數(shù)據(jù)的安全(一般云存儲(chǔ)系統(tǒng)均須備份3份及以上)，本專(zhuān)利技術(shù)可以減少在確保存儲(chǔ)數(shù)據(jù)安全時(shí)使用的冗余存儲(chǔ)量(可以只需備份兩份或者一份)，這將極大的節(jié)約的數(shù)據(jù)的存儲(chǔ)空間，降低成本，使云存儲(chǔ)系統(tǒng)空間得到更加充分的利用。3、本專(zhuān)利技術(shù)的另一顯著特點(diǎn)是，由于數(shù)據(jù)是被分散存儲(chǔ)在多個(gè)存儲(chǔ)器上的，所以當(dāng)外部有人非法入侵云系統(tǒng)中某單一存儲(chǔ)器時(shí)，所獲得的數(shù)據(jù)都是不完整的，也就提高了在面對(duì)系統(tǒng)外部的非法入侵時(shí)，數(shù)據(jù)的安全性。具體實(shí)施例方式下面結(jié)合實(shí)例對(duì)本專(zhuān)利技術(shù)做進(jìn)一步說(shuō)明，但不應(yīng)以此限制本專(zhuān)利技術(shù)的保護(hù)范圍。本實(shí)例用于對(duì)一個(gè)100MB的原始數(shù)據(jù)進(jìn)行云存儲(chǔ)，具體實(shí)施步驟如下步驟一，將一個(gè)100MB的原始待存儲(chǔ)的數(shù)據(jù)分成102401幀數(shù)據(jù)，每一幀數(shù)據(jù)為固定長(zhǎng)度1020個(gè)比特的數(shù)據(jù)。所述將待存儲(chǔ)數(shù)據(jù)分為固定長(zhǎng)度1020的102401幀數(shù)據(jù)，最后一塊原始數(shù)據(jù)幀長(zhǎng)度小于255時(shí)，對(duì)最后一塊數(shù)據(jù)幀填充數(shù)據(jù)‘0’，以達(dá)到長(zhǎng)度1020。 步驟二，對(duì)所述的每一個(gè)數(shù)據(jù)幀加上編號(hào)，即ID，得到新的數(shù)據(jù)幀。所述將每一幀數(shù)據(jù)加上ID，ID長(zhǎng)為4個(gè)字節(jié)，從I開(kāi)始遞加，實(shí)例中ID號(hào)從I到102401。步驟三，將所述的數(shù)據(jù)幀再組合為若干個(gè)數(shù)據(jù)塊，每一個(gè)數(shù)據(jù)塊包含1024個(gè)數(shù)據(jù)幀，共得到100個(gè)這樣的數(shù)據(jù)塊。所述將數(shù)據(jù)幀再組合為數(shù)據(jù)塊，這些數(shù)據(jù)幀將組成一個(gè)1024*1024的數(shù)據(jù)矩陣，形成一個(gè)數(shù)據(jù)塊，如果最后一個(gè)數(shù)據(jù)塊數(shù)據(jù)幀個(gè)數(shù)少于1024，對(duì)最后一塊數(shù)據(jù)塊填充數(shù)據(jù)‘0’，以達(dá)到固定數(shù)據(jù)塊數(shù)1024。步驟四，通過(guò)里的所羅門(mén)糾錯(cuò)編碼，將第i個(gè)包含1024*1024個(gè)數(shù)據(jù)的數(shù)據(jù)塊的行和列分別進(jìn)行編碼，轉(zhuǎn)化成一個(gè)包含(1024+P0)*(1024+PI)個(gè)數(shù)據(jù)的數(shù)據(jù)塊，其中0 < i<=M0 PO = PI = 100為數(shù)據(jù)塊中一行和一列增加的用于糾錯(cuò)的冗余數(shù)據(jù)個(gè)數(shù)。具體公式是F mod D = C;本實(shí)施例中F為1024位數(shù)據(jù)，D是生成多項(xiàng)式，C為生成的100個(gè)冗余糾錯(cuò)數(shù)據(jù)。mod為求余運(yùn)算。步驟五，將上述得到的每一個(gè)數(shù)據(jù)塊本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種云存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，對(duì)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)存入和數(shù)據(jù)提取分別采用里的所羅門(mén)編碼數(shù)據(jù)糾錯(cuò)編碼處理和里的所羅門(mén)糾錯(cuò)解碼處理。
【技術(shù)特征摘要】
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：劉濤，阮昊，
申請(qǐng)(專(zhuān)利權(quán))人：中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。