一種分布式異構系統中數據融合存儲的實現方法技術方案

本發明專利技術提供一種分布式異構系統中數據融合存儲的實現方法，包括以下步驟：建立分布異構存儲模型、分布式異構數據模型及異構數據安全模型；利用分布、分片的規則及機制進行數據處理；根據數據關聯關系和信息應用需求確定數據訪問方式。本發明專利技術提供一種分布式異構系統中數據融合存儲的實現方法，通過使用融合技術，可以提高企業對最新數據動態的反應速度，增強決策能力，獲取各地用戶的需求，提高服務質量。

【技術實現步驟摘要】

本專利技術屬于計算機
，具體涉及。
技術介紹
隨著計算機和網絡技術迅速發展，以計算機集中監測網絡為基礎的工業企業網絡存儲正在形成。由于它有利于提高運行效率、減小運行成本，所以建立企業網絡存儲是企業未來的發展方向。但是對于一些大型企業，存儲設備系統位置比較分散，有的既有本地系統，也存在遠程系統或監測控制管理節點，同時由于多方面的原因，企業內不同存儲設備運用了不同的控制系統，這樣就造成了位置分散的多種設備、多種監控系統并存的分布式異構環境，而這其中又多存在一些軟件封閉、互操作性差的異構系統，因此對設備運行數據的融合與存儲管理提出了更高的要求，這用單一存儲系統態軟件是難以實現的。針對這種情況，急需一種基于各種策略和或者方式來實現分布式異構系統數據融合與存儲的方法，通過這些方法來彌補了現有存儲設備本身系統軟件的不足，有針對性地解決了設備位置分散、系統異構帶來的數據融合與存儲難題。
技術實現思路
為了克服上述現有技術的不足，本專利技術提供，通過使用融合技術，可以提高企業對最新數據動態的反應速度，增強決策能力，獲取各地用戶的需求，提高服務質量。為了實現上述專利技術目的，本專利技術采取如下技術方案提供，所述方法包括以下步驟步驟1:建立分布異構存儲模型、分布式異構數據模型及異構數據安全模型；步驟2 :利用分布、分片的規則及機制進行數據處理；步驟3 :根據數據關聯關系和信息應用需求確定數據訪問方式。所述步驟I包括以下步驟步驟1-1 :根據分布式異構環境中數據對應用的不同需求以及訪問的要求，確定分布異構存儲模型；步驟1-2 :根據分布式異構信息中的資源融合以及事務一致性處理確定分布式異構數據模型；步驟1-3 :根據分布式異構數據的安全機制以及基于LDAP的用戶訪問控制確定異構數據安全模型。所述分布異構存儲模型中存儲的屬性數據包括資源基本信息和資源服務信息；所述資源基本信息描述資源固有屬性的信息，進行讀取訪問操作；所述資源服務信息描述資源動態信息，進行讀、寫和修改訪問操作。所述屬性數據的存儲方式包括直接連接存儲、網絡附加存儲、光纖連接存儲和以太網連接存儲。所述步驟2包括以下步驟步驟2-1 :根據數據存儲的地域特點分別按照省級進行一級水平分區，并進一步根據地市開展二級水平分區；步驟2-2 :根據信息規范化分類，動態、靜態數據和數據模式進行分類存儲，并同時采用混合型分布方式；步驟2-3 :依據企業業務關鍵和重要性對存儲的數據進行分類，分為實時處理、業務交易、人財物管理、綜合管理和信息保障5類，實時處理、業務交易和人財物管理三類數據至少復制2個以上區域地三種以上多個版本進行存放，綜合管理和信息保障兩類數據采用兩個區域和兩個以下版本少量復制或者不復制存放。所述步驟3中，根據企業信息資源應用的需求，需要訪問資源的異構數據、訪問資源關系型數據及其全部異構數據，在分布異構存儲模型中，完成資源各個異構數據存儲的基礎上，生成資源ID，進行存儲；同時存儲資源和相關的異構數據的關系框架的數據，存儲資源ID的同時，存儲描述資源的異構數據的唯一標識數據，通過存儲該數據及其關系，實現對資源異構數據的關聯關系的存儲。所述數據訪問方式包括基于數據塊、基于文件、基于WEB服務和基于編程語言接口四種數據訪問方式，實現將不同廠商、不同協議、不同系列的存儲在不改變原有數據結構的情況下進行分布異構融合處理。與現有技術相比，本專利技術的有益效果在于1.基于目前分布式異構數據技術的發展現狀，結合目前存在的一系列問題提出了分布式異構信息融合模型，著重研究模型中分布式異構信息的存儲、分布式異構信息的關聯、異構信息的訪問控制這三項關鍵技術。從企業信息共享和交換存在的問題出發，從信息本身的特性出發.參考了信息使用各方的意見后，參照其它元數據標準制定過程和標準，制定了企業信息資源數據規范，元數據的研究為以后信息資源交換和共享做了基礎性的鋪墊。結合前面提出的分布式異構信息融合模型，定制了適合企業的分布式異構數據解決方案，使信息的共享訪問有了有效的解決方案。2.分布式異構數據技術對企業信息化也有著非常重要的意義，尤其大型企業級數據信息具有分布廣、數據量大、數據表現形式多樣化的特點，通過使用該融合技術，可以提高企業對最新動態的反應速度，增強決策能力，獲取各地用戶的需求，提高服務質量。附圖說明圖1是分布式異構系統中數據融合存儲的實現方法中模型示意圖。具體實施例方式下面結合附圖對本專利技術作進一步詳細說明。如圖1，提供，所述方法包括以下步驟步驟1:建立分布異構存儲模型、分布式異構數據模型及異構數據安全模型；步驟2 :利用分布、分片的規則及機制進行數據處理；步驟3 :根據數據關聯關系和信息應用需求確定數據訪問方式。所述步驟I包括以下步驟步驟1-1 :根據分布式異構環境中數據對應用的不同需求以及訪問的要求，確定分布異構存儲模型；步驟1-2 :根據分布式異構信息中的資源融合以及事務一致性處理確定分布式異構數據模型；步驟1-3 :根據分布式異構數據的安全機制以及基于輕量目錄訪問協議LDAP(LightweightDirectory Access Protocol)的用戶訪問控制確定異構數據安全模型。所述分布異構存儲模型中存儲的屬性數據包括資源基本信息和資源服務信息；資源基本信息是描述資源固有屬性的信息，一經采集，維護工作少，從訪問的角度而言，主要是讀的工作，訪問量大，因此對于檢索和并發訪問要求高。資源服務信息是描述的是資源動態信息，信息采集和維護的頻度高，同時存在讀、寫和修改等訪問操作，信息的并發訪問中互斥問題的解決重要。基于上述兩點分析，在一般屬性數據存儲的時候，基本信息和服務信息分開存儲。基本要求做到基本信息、服務信息分表存儲，同時必要的時候，如服務數據交換壓力過大，可以考慮單獨建立數據庫來存儲資源服務信息。基于資源基本信息的存儲和訪問特點，為基本數據做完備的索引，用一定的數據冗余來換取基本數據訪問時候的快速檢索。基本數據由于維護量少，索引的更新可以制定為一個一個周，甚至是一個月一次。所述屬性數據的存儲方式包括直接連接存儲、網絡附加存儲、光纖連接存儲和以太網連接存儲。所述步驟2包括以下步驟步驟2-1 :根據數據存儲的地域特點分別按照省級進行一級水平分區，并進一步根據地市開展二級水平分區；步驟2-2 :根據信息規范化分類，動態、靜態數據和數據模式進行分類存儲，并同時采用混合型分布方式；步驟2-3 :依據企業業務關鍵和重要性對存儲的數據進行分類，分為實時處理、業務交易、人財物管理、綜合管理和信息保障5類，實時處理、業務交易和人財物管理三類數據至少復制2個以上區域地三種以上多個版本進行存放，綜合管理和信息保障兩類數據采用兩個區域和兩個以下版本少量復制或者不復制存放。所述步驟3中，根據企業信息資源應用的需求，需要訪問資源的異構數據、訪問資源關系型數據及其全部異構數據，在分布異構存儲模型中，完成資源各個異構數據存儲的基礎上，生成資源ID，進行存儲；同時存儲資源和相關的異構數據的關系框架的數據，存儲資源ID的同時，存儲描述資源的異構數據的唯一標識數據，通過存儲該數據及其關系，實現對資源異構數據的關聯關系的存儲。所述數據訪問方式包括基于數據塊、基于文件、基于WEB服務和基于編程語言接口四種數據訪問方式，實現將不本文檔來自技高網...

【技術保護點】
一種分布式異構系統中數據融合存儲的實現方法，其特征在于：所述方法包括以下步驟：步驟1：建立分布異構存儲模型、分布式異構數據模型及異構數據安全模型；步驟2：利用分布、分片的規則及機制進行數據處理；步驟3：根據數據關聯關系和信息應用需求確定數據訪問方式。

【技術特征摘要】
1.一種分布式異構系統中數據融合存儲的實現方法，其特征在于所述方法包括以下步驟 步驟1:建立分布異構存儲模型、分布式異構數據模型及異構數據安全模型； 步驟2 :利用分布、分片的規則及機制進行數據處理； 步驟3 :根據數據關聯關系和信息應用需求確定數據訪問方式。2.根據權利要求1所述的分布式異構系統中數據融合存儲的實現方法，其特征在于所述步驟I包括以下步驟 步驟1-1 :根據分布式異構環境中數據對應用的不同需求以及訪問的要求，確定分布異構存儲模型； 步驟1-2 :根據分布式異構信息中的資源融合以及事務一致性處理確定分布式異構數據模型； 步驟1-3 :根據分布式異構數據的安全機制以及基于LDAP的用戶訪問控制確定異構數據安全模型。3.根據權利要求1所述的分布式異構系統中數據融合存儲的實現方法，其特征在于所述分布異構存儲模型中存儲的屬性數據包括資源基本信息和資源服務信息；所述資源基本信息描述資源固有屬性的信息，進行讀取訪問操作；所述資源服務信息描述資源動態信息，進行讀、寫和修改訪問操作。4.根據權利要求3所述的分布式異構系統中數據融合存儲的實現方法，其特征在于所述屬性數據的存儲方式包括直接連接存儲、網絡附加存儲、光纖連接存儲和以太網連接存儲。5.根據權利要求1所述的分布式異構系統中數據融合存儲的實現方法，其特征在于所述步驟2包括以下步驟 ...

【專利技術屬性】
技術研發人員：羅志明，張大華，錢聲攀，
申請(專利權)人：中國電力科學研究院，國家電網公司，
類型：發明
國別省市：