混合云環境下的數據索引列表存儲策略制造技術

本發明專利技術涉及一種混合云環境下的數據索引列表存儲策略。在傳統云存儲環境中，數據的重復存儲帶來的巨大冗余和空間浪費并未被充分考慮到，該項目通過優化數據存儲策略來提高云存儲性能，進而降低存儲成本。首先，我們考慮為用戶可訪問空間中的已存儲數據建立索引列表，它包含了數據的文件名，文件大小和存儲路徑等相關信息；接著，在存儲數據時，將數據的相關信息與可訪問資源的索引列表進行重復項的匹配；最后，為相同的可訪問資源設定某個數量閾值S并進行判斷，根據實際情況選擇是否需要進行完整數據存儲。本發明專利技術可以大大降低相同數據的重復存儲，提高存儲空間利用率，進而減少成本。

【技術實現步驟摘要】

本專利技術涉及一種混合云環境下的數據索引列表存儲策略。
技術介紹
云計算、云存儲技術在近幾年內得到了快速發展，國內外涌現了各式各樣的公有云存儲服務，這些公有云服務對于個人用戶是免費的，但對于需要通過API（應用程序接口）訪問的企業用戶是收費的。云存儲服務滿足了企業的存儲需求，同時又降低了企業購買、維護大容量存儲設備的開銷，企業等用戶越來越傾向于將數據存儲在服務提供商的云存儲系統上以節省成本。但對于有大量數據存儲需求的云存儲服務消費者而言，云存儲服務仍然需要不菲的存儲費用。2011年，NIST（NationalInstituteofStandardsandTechnology，美國國家標準與技術研究院）提出了云代理。云代理獨立于云存儲資源提供商運行,負責發現和分析云用戶的需求，拆分成不同的任務發布到云端，云存儲提供商根據這些任務給出各自的報價和SLA（Service-LevelAgreement，服務等級協議）交給云代理比較和選擇；云代理向用戶提供報價和合同，并租用云存儲資源提供商的資源交給用戶使用。但是，我們知道數據的重復存儲會帶來巨大冗余和空間的浪費，而企業用戶放到公有云的數據一般是非關鍵公共數據，在公有云中很可能會存在相同數據導致重復存儲，傳統的云存儲服務提供商給出的SLA中沒有重復資源的描述，傳統的云代理選擇云存儲服務商的策略中也沒有考慮云存儲服務商是否存在重復資源。數據的重復存儲將帶來較大的不必要成本支出浪費，帶來低性價比問題，這必然是云存儲用戶所不希望的，故云存儲中的數據重復存儲已成為一個迫切需要解決的問題，數據存儲量越大的企業對此的需求也是越大的。
技術實現思路
有鑒于此，本專利技術的目的在于提供一種混合云環境下的數據索引列表存儲策略，增加了數據自身與云空間可訪問資源重復的匹配項，并提出數據索引列表存儲策略來進行完善。為實現上述目的，本專利技術采用如下技術方案：一種混合云環境下的數據索引列表存儲策略，其特征在于，包括以下步驟：步驟S1：在混合云的環境中創建用戶可訪問空間，所述用戶可訪問空間包括用戶自身所擁有的私有云空間、云代理為用戶開辟好的資源池以及通過云代理可檢索得到的其他用戶共享的數據資源；步驟S2：為所述用戶可訪問空間中的已存儲數據建立索引列表，所述索引列表用于記錄已存儲數據的信息，包括已存儲信息的文件名、文件大小、存儲路徑、存儲時間、是否全存和存儲用戶；步驟S3：在存儲數據時，通過所述索引列表將要存儲數據的信息和已存儲數據的信息進行匹配，找出與要存儲數據相同的可訪問資源，并統計其資源數X；步驟S4：為步驟S3得到與要存儲數據相同的可訪問資源設定數量閾值S，在存儲數據時，根據所述資源數X與數量閾值S的大小，選擇對要存儲數據進行存儲或者只存儲相同資源的可訪問索引列表。進一步的，在所述用戶可訪問空間中，用戶可訪問的資源包括其他用戶的共享資源與本用戶自身的存儲資源。進一步的，所述索引列表中的是否全存的具體含義為：若為是，則代表數據被完整存儲；若為否，則代表只存儲相同資源的可訪問索引列表。進一步的，所述步驟S3中的要存儲數據的信息包括要存儲信息的文件名、文件大小、存儲路徑、存儲時間、是否全存和存儲用戶。進一步的，所述步驟S4中，若資源數X低于數量閾值S，則對要存儲數據進行完整存儲以減少數據丟失的概率；若資源數X高于或等于數量閾值S，則只存儲相同資源的可訪問索引列表以降低存儲成本。進一步的，在進行完整存儲時，根據數據的安全性需求選擇將要存儲數據存于私有云或公有云中。本專利技術與現有技術相比具有以下有益效果：本專利技術通過為相同資源數設定閾值來決定完整存儲數據還是只存儲相同資源的可訪問索引列表，這能有效減少數據重復存儲帶來的巨大冗余和空間浪費，極大提高混合云中的云存儲性能，為用戶節省成本。附圖說明圖1是本專利技術的流程圖。圖2是本專利技術用戶存儲數據時系統存儲操作的流程圖。圖3是本專利技術一實施例的系統框圖。具體實施方式下面結合附圖及實施例對本專利技術做進一步說明。請參照圖3，于本實施例中，用戶擁有自身的私有云，同時該用戶的云代理已開辟了由公有云1、公有云2和公有云3組成的資源池，則該用戶的用戶可訪問空間為自身私有云、云代理為用戶開辟好的資源池（此例中由公有云1、公有云2和公有云3組成）以及云代理可檢索得到的其他用戶共享的資源（設有用戶2、用戶3、用戶4上傳共享數據）。并設該用戶可訪問空間中有數據資源A、B、C、D、E、F、G、H、I、J，各數據資源的具體分布情況可見下表1：表1：數據在用戶可訪問空間中的分布情況私有云公有云1公有云2公有云3A、C、E、G、IA、B、C、I、JA、D、G、H、IA、C、F、H、I請參照圖1，混合云環境下的數據索引列表存儲策略包括以下步驟：步驟S1：在混合云的環境中創建用戶可訪問空間，所述用戶可訪問空間包括用戶自身所擁有的私有云空間、云代理為用戶開辟好的資源池以及通過云代理可檢索得到的其他用戶共享的數據資源；步驟S2：為所述用戶可訪問空間中的已存儲數據建立索引列表，所述索引列表用于記錄已存儲數據的信息，包括已存儲信息的文件名、文件大小、存儲路徑、存儲時間、是否全存和存儲用戶等信息；其中是否全存的具體含義為：若為是，則代表數據被完整存儲；若為否，則代表存儲的是相同資源的可訪問索引列表。索引列表存放于每個數據所在的云中，下表2為私有云數據的索引列表，表3、表4、表5分別為公有云1、公有云2、公有云3的數據索引列表：表2：私有云數據的索引列表文件名文件大小存儲路徑存儲時間是否全存存儲用戶A6G私有云20160606是用戶1C3G私有云20160503是用戶1E10G私有云20150909是用戶1G36G私有云20150503是用戶1I28G私有云20130228是用戶1表3：公有云1的數據索引列表文件名文件大小存儲路徑存儲時間是否全存存儲用戶A6G公有云120160601是用戶1B13G公有云120160621是用戶4C3G公有云120160203是用戶3I28G公有云120160303是用戶1J35G公有云120160620是用戶2表4：公有云2的數據索引列表文件名文件大小存儲路徑存儲時間是否全存存儲用戶A6G公有云220160606是用戶1D16G公有云220160503是用戶1G36G公有云220150909是用戶4H1G公有云220150503是用戶3表5：公有云3的數據索引列表文件名文件大小存儲路徑存儲時間是否全存存儲用戶A6G公有云320160602是用戶1C3G公有云320160607是用戶2F24G公有云320160613是用戶1H1G公有云320160618是用戶4I28G公有云320160621是用戶1步驟S3：請參照圖2，在存儲數據時，通過所述索引列表將要存儲數據的信息和已存儲數據的信息進行匹配（將文件名和文件大小進行對比，當已存儲數據的文件名和文件大小都相同時確定為要存儲數據相同的可訪問資源），找出與要存儲數據相同的可訪問資源，并統計其資源數X；步驟S4：請繼續參照圖2，為步驟S3得到與要存儲數據相同的可訪問資源設定數量閾值S，于本實施例中S=3，在存儲數據時，根據所述資源數X與數量閾值S的大小，選擇對要存儲數據進行存儲或者只存儲相同資源的可訪問索引列表，具體為：若資源本文檔來自技高網...

【技術保護點】
一種混合云環境下的數據索引列表存儲策略，其特征在于，包括以下步驟：步驟S1：在混合云的環境中創建用戶可訪問空間，所述用戶可訪問空間包括用戶自身所擁有的私有云空間、云代理為用戶開辟好的資源池以及通過云代理可檢索得到的其他用戶共享的數據資源；步驟S2：為所述用戶可訪問空間中的已存儲數據建立索引列表，所述索引列表用于記錄已存儲數據的信息，包括已存儲信息的文件名、文件大小、存儲路徑、存儲時間、是否全存和存儲用戶；步驟S3：在存儲數據時，通過所述索引列表將要存儲數據的信息和已存儲數據的信息進行匹配，找出與要存儲數據相同的可訪問資源，并統計其資源數X；步驟S4：為步驟S3得到與要存儲數據相同的可訪問資源設定數量閾值S，在存儲數據時，根據所述資源數X與數量閾值S的大小，選擇對要存儲數據進行存儲或者只存儲相同資源的可訪問索引列表。

【技術特征摘要】
1.一種混合云環境下的數據索引列表存儲策略，其特征在于，包括以下步驟：步驟S1：在混合云的環境中創建用戶可訪問空間，所述用戶可訪問空間包括用戶自身所擁有的私有云空間、云代理為用戶開辟好的資源池以及通過云代理可檢索得到的其他用戶共享的數據資源；步驟S2：為所述用戶可訪問空間中的已存儲數據建立索引列表，所述索引列表用于記錄已存儲數據的信息，包括已存儲信息的文件名、文件大小、存儲路徑、存儲時間、是否全存和存儲用戶；步驟S3：在存儲數據時，通過所述索引列表將要存儲數據的信息和已存儲數據的信息進行匹配，找出與要存儲數據相同的可訪問資源，并統計其資源數X；步驟S4：為步驟S3得到與要存儲數據相同的可訪問資源設定數量閾值S，在存儲數據時，根據所述資源數X與數量閾值S的大小，選擇對要存儲數據進行存儲或者只存儲相同資源的可訪問索引列表。2.根據權利要求1所述的混合云環境下的數據索引列表存儲策略，其特征在于：在所述用戶可訪問空間...

【專利技術屬性】
技術研發人員：蘭誠棟，林華琦，孫強強，方大銳，
申請(專利權)人：福州大學，
類型：發明
國別省市：福建;35