一種基于通信可靠性的分布式存儲方法技術

本發明專利技術涉及一種基于通信可靠性的分布式存儲方法，該發明專利技術由網絡結構分析模塊、通信及流量風險分離分析模塊、數據分布式存儲風險分離分析模塊組成，提出了備份存儲路徑概念，備份存儲路徑風險分離方法，數據服務器風險分離方法，可減少備份之間的存取風險。該發明專利技術可應用于分布式存儲系統的文件備份存儲、文件容災、文件存儲風險分離。

【技術實現步驟摘要】

本專利技術涉及，通過使用分布式存儲系統的網絡結構的分析、通信及流量風險分離策略、數據分布式存儲風險分離策略三部分，以減少分布式存儲系統的文件備份之間的存取風險，屬于信息

技術介紹
互聯網、互聯網企業等產生了海量的數據，這些海量數據的存儲需要超級的數據中心，數據中心采用集群的方式進行分布式存儲這些海量數據。目前分布式存儲系統有HDFS(Hadoop Distributed File System) > MogileFS(Mogile File System) > NAS(NetworkAttached Storage) > NFS (Network File System)等。通過對上述分布式存儲系統的分析發現，為了提高分布式存儲系統的可靠性，這些系統在功能上一般支持文件的雙備份和多備份。當文件的其中一個備份出現故障，另外一個文件備份就會被激活并提供服務，以替換出現故障的那個文件備份。多個文件備份能提高系統的可靠性，但如果多個備份存在同一個服務器上，服務器故障對分布式存儲系統的可靠性是致命的，這樣的存儲策略可能使多個備份同時故障。在另一方面，即使多個備份在不同的服務器上，但如果這些服務器連接到同一個網絡節點上，那么該網絡節點的故障對于在線服務的分布式存儲系統也是致命的。為了從高層次上提高分布式存儲系統的可靠性，尤其是在線服務的分布式存儲系統，研究人員必須考慮分布式存儲系統的網絡結構風險、通信流量風險和存儲風險。 在分布式存儲系統中，網絡結構與服務性能、可靠性、流量風險都是直接相關的。從網絡通信風險的角度看，星型結構的網絡風險最大，中心交換機的故障直接導致分布式存儲系統的癱瘓。對于網狀結構網絡、冗余備份網絡，如果存儲、通信不當也會存在同樣的問題。為此，針對網狀結構網絡、冗余備份網絡，本專利建議。專利“”通過使用分布式存儲系統的網絡結構分析策略、通信及流量風險分離策略、數據分布式存儲風險分離策略三部分，以提高分布式存儲系統的可靠性和容錯能力。
技術實現思路
本專利技術“”由三部分組成，它們是網絡結構分析模塊、通信及流量風險分離分析模塊、數據分布式存儲風險分離分析模塊。下面詳細介紹“”的結構、各個組成部分和執行流程。(I)本專利技術形成的分布式存儲系統結構及應用環境為了實現本專利技術“”，要求對現有的分布式存儲系統進行修改，本專利技術形成的分布式存儲系統如圖1所示。具體修改內容包括如下: 本專利技術形成的分布式存儲系統包含元數據服務器(Meta Server)、數據服務器(Data Server)，其中元數據服務器和應用服務器在同一個區域，掛接在同一個邊緣交換機上。 本專利技術形成的分布式存儲系統的元數據服務器具有獲知集群網絡的拓撲結構的能力，包括人工配置拓撲結構信息，其拓撲結構信息包括節點IP地址、端口速率、相互之I司的鏈路關系等。 本專利技術形成的分布式存儲系統的數據服務器必須位于不同的區域，每個區域的數據服務器掛接到對應的邊緣服務器上，這種掛接方式可以避免網絡流量擁塞和網絡故障風險。 本專利技術形成的分布式存儲系統的集群核心網絡需要有網絡冗余備份，網絡冗余備份可以高度體現本專利技術的優勢。(2)本專利技術的三個組成部分本專利技術“”由三個模塊組成，本專利技術的組成如圖2所示，它由網絡結構分析模塊、通信及流量風險分離分析模塊、數據分布式存儲風險分離分析模塊組成。 網絡結構分析模塊:該模塊有兩個功能，一是通過人工配置等措施獲取網絡結構信息，這些信息包括網絡節點、數據服務器位置等信息。該模塊另外一個功能是對應用程序提供的存儲需求提供網絡通信路徑(這里稱為“存儲路徑”)的計算。 通信及流量風險分離分析模塊:在應用程序對單個文件有多個備份存儲需求的情況下，在網絡結構分析模塊中找到了其中一個備份(稱為“第一備份”)的存儲路徑后，該模塊依據第一份備存儲路徑，采用通信及流量風險分離算法，該模塊計算出第二備份的存儲路徑。 數據分布式存儲風險分離分析模塊:在通信及流量風險分離分析模塊找到第二備份的存儲路徑后，該模塊依據服務器存儲情況和第二備份的存儲路徑，找到第二備份的數據分布式存儲風險分離服務器。(3)本專利技術各模塊的執行流程為了說明本專利技術執行流程，從文件的兩個備份存儲的過程描述本專利技術各模塊之間的關系和本專利技術的執行流程，本專利技術分成三個階段:第一備份路徑的計算階段、第二備份路徑的計算階段和數據服務器確定階段。本專利技術的具體執行流程如下: 第一備份路徑的計算階段:應用程序需要把文件的兩個備份寫入數據中心的兩個服務器。應用程序首先把“請求”提交給網絡結構分析模塊，網絡結構分析模塊依據“請求”，根據收集起來的網絡拓撲信息，采用最短路徑計算(Shortest Path First)方法,計算出第一備份的存儲路徑。第一備份的存儲路徑如圖3所示。 第二備份路徑的計算階段:網絡結構分析模塊依據“請求”計算出第一備份存儲路徑后，提交給通信及流量風險分離分析模塊。通信及流量風險分離分析模塊依據“風險分離算法”計算出多條第二備份存儲路徑。“風險分離算法”的執行流程分兩步，第一步通信及流量風險分離分析模塊在拓撲圖中去除第一備份存儲路徑的鏈路。第二步，在第一步余下的拓撲中采用“最短路徑”計算出多條第二備份存儲路徑。 圖4中是第二備份的兩條存儲路徑(采用虛線表示)。可以看出第二備份的兩條存儲路徑和第一備份的存儲路徑沒有共同的鏈路，說明第一備份和第二備份在通信風險和流量上是分離的，有利于規避通信風險和平衡流量。 數據服務器確定階段:依據圖4的第二備份的存儲路徑，數據分布式存儲風險分離分析模塊找出第二備份的存儲數據服務器，檢查第一備份存儲數據服務器和第二備份存儲數據服務器之間的關系，依據存儲風險分離原則，找到第二備份存儲數據服務器。存儲風險分離原則是一種檢查原則，在這里，指第一備份和第二備份不能存儲在同一個區域的服務器，這樣可以實現存儲風險分離。依據該原則，在圖4的兩個第二備份存儲路徑中，發現兩個第二備份的存儲數據服務器B和C，但數據服務器C和第一備份的存儲數據服務器在同一個區域，存在共同的風險，C不適合作為第二備份的存儲數據服務器，而B和第一備份存儲數據服務器在不同的區域，B適合作為第二備份存儲數據服務器。(4)本專利技術的特點本專利技術涉及兩個方法:通信及流量風險分離方法、數據服務器分布式存儲風險分離方法；下面詳細說明兩種方法及其特點: 通信及流量風險分離方法:該方法把第一備份和第二備份的數據存儲分布到不同的存儲路徑上，該算法避免了網絡通信風險。 數據分布式存儲風險分離方法:該方法把第一備份和第二備份的數據存儲到風險分離的兩臺數據服務器上，該方法能夠實現多備份存儲到不同風險區域的機制，避免了服務器存儲風險。附圖說明圖1是本專利技術形成的分布式存儲系統示意圖圖2是本專利技術的模塊組成示意3是第一備份的存儲路徑4是第二備份的存儲路徑5是分布式存儲系統網絡拓撲結構6是文件F的第一備份存儲路徑7是去除文件F的第一備份存儲路徑后的網絡拓撲結構8是文件F的第二備份存儲路徑9是文件F的第二備份存儲路徑權重排序10是重選的第二備份存儲路徑圖具體實施例方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例也僅僅是本專利技術的一部分實施例，而不是全部實施例本文檔來自技高網...

【技術保護點】
本專利技術涉及一種基于通信可靠性的分布式存儲方法，該專利技術應用于分布式存儲系統中，以減少備份之間的存取風險。本專利技術的主要特點及權利要求有：(1)本專利技術由網絡結構分析模塊、通信及流量風險分離分析模塊、數據分布式存儲風險分離分析模塊組成。(2)本專利技術引出的存儲路徑、存儲路徑計算方法、存儲路徑風險分離方法。(3)本專利技術引出的數據服務器風險分離方法、區域風險分離方法、數據分布式存儲風險分離方法。

【技術特征摘要】
1.本發明涉及一種基于通信可靠性的分布式存儲方法，該發明應用于分布式存儲系統中，以減少備份之間的存取風險。本發明的主要特點及權利要求有: (1)本發明由網絡結構分析模塊、通信及流量風險分離分析模...

【專利技術屬性】
技術研發人員：陸月明，孫松林，袁玉宇，
申請(專利權)人：北京郵電大學，
類型：發明
國別省市：