基于分布式系統的智能數據服務方法技術方案

本發明專利技術提供了一種基于分布式系統的智能數據服務方法。利用分布式系統的主節點管理全局文件命名空間；并且，在向分布式系統寫入文件的流程、從分布式系統讀取文件的流程、以及從分布式系統讀取文件的流程中，利用分布式系統的主節點對客戶端的請求進行分析處理，選擇具體的數據預處理程序，分發到分布式系統的從節點以進行后續的數據預處理和傳輸操作。本發明專利技術能夠在數據密集型應用環境下，將現有的分布式系統存儲空間快速聚合；而且，本發明專利技術充分利用分布式系統計算資源，能夠根據外部計算設備的需求智能地提供數據服務；并且，本發明專利技術將部分數據處理負載從外部計算設備轉移到分布式系統中，從而減少向外部計算設備提供數據服務的帶寬需求。

【技術實現步驟摘要】

本專利技術涉及計算
，更具體地說，本專利技術涉及一種。
技術介紹
在數據密集型應用中，大規模數據集處理是應用的核心，而I/O (輸入/輸出)帶寬成為影響其性能的主要因素，這使得傳統的計算和存儲分離的系統不適合數據密集型應用，因此，需要一種新型的數據存儲和服務模式，以提高數據傳輸和處理的性能。數據服務一般指的是數據的存儲、管理和傳輸，在不同的應用場合中具體表現形式不同。在數據密集型應用背景下，數據服務主要包含兩方面的內容，一是海量數據的存儲技術，二是海量數據的組織管理技術。智能數據服務指的是在上述兩方面加入了數據的預處理操作處理，這樣可以將部分數據處理負載從外部計算設備轉移到系統內部，從而減少系統向外部計算設備提供數據服務的帶寬需求。實現數據服務有很多種方法，比如采用傳統的集中全局存儲的方法，或采用數據庫系統。傳統的集中全局存儲的方法需要專用的存儲服務器，傳統的計算密集型計算采用的是這種模式。集中全局存儲的方法構建數據服務的性能受限于存儲服務器的帶寬，并且價格昂貴，難以大規模擴展。數據庫系統又分為關系型數據庫和非關系型數據庫。數據密集型應用工作數據集較大，且不需要進行頻繁的數據庫操作，所以不適合存儲在關系型數據庫中。非關系型數據庫提供Key-Value (鍵-值)的存儲形式，但它難以在數據服務中加入預處理的功能，難以形成智能數據服務。
技術實現思路
本專利技術所要解決的技術問題是針對現有技術中存在上述缺陷，提供一種在數據密集應用中將傳統的分布式系統的空閑存儲資源聚合起來并向外部計算設備提供智能數據服務的方法。根據本專利技術，提供了一種，其包括利用分布式系統的主節點管理全局文件命名空間；并且，在向分布式系統寫入文件的流程、從分布式系統讀取文件的流程、以及從分布式系統讀取文件的流程中，利用分布式系統的主節點對客戶端的請求進行分析處理，選擇具體的數據預處理程序，分發到分布式系統的從節點以進行后續的數據預處理和傳輸操作。優選地，主節點監測并管理從節點的正常運行，保存并更新所有從節點數據存儲的元數據，以及提供客戶端對數據請求的響應。優選地，主節點維持分布式系統的全局文件系統的目錄。優選地，在分布式系統中，數據按照原始數據的形式進行存儲，不對文件進行分塊存儲。優選地，數據是冗余存儲的，從而一個文件可以冗余存儲在多個從節點中。優選地，向分布式系統寫入文件的流程包括第一寫入步驟客戶端向主節點詢問需要寫入的文件是否在分布式系統中存在；第二寫入步驟如果需要寫入的文件存在分布式系統，主節點向客戶端發送文件的元數據，其中包括文件的信息和文件所處的從節點信息，向分布式系統寫入文件的流程進入第三寫入步驟；如果需要寫入的文件不存在分布式系統，主節點向客戶端返回可寫入文件的從節點列表；第三寫入步驟客戶端根據第二寫入步驟返回的文件元數據及從節點信息向其中一個從節點寫入文件；第四寫入步驟從節點接收客戶端數據流并寫入文件，如果成功完成向主節點發送成功信息，并同時向客戶端發送確認信息，客戶端收到確認信息后完成操作；如果確認信息不成功，重復第二寫入步驟的操作；第五寫入步驟主節點收到從節點完成數據寫入的信息后更新元數據。優選地，向分布式系統寫入文件的過程不會對數據進行預處理。優選地，從分布式系統讀取文件的流程包括第一讀取步驟客戶端向主節點發送數據請求，其中包括文件路徑和所需要的預處理；第二讀取步驟主節點對客戶端的數據請求進行分析，確定所需文件所處的從節點和所需要的預處理程序，直接對所需文件進行預處理操作，并且向客戶單返回中間數據所處的從節點；第三讀取步驟客戶端直接向中間數據所處的從節點進行數據請求，從節點根據數據數據預處理的情況返回給客戶端所需數據。優選地，從分布式系統讀取文件的流程包括第一預處理步驟客戶端向主節點發送數據預處理操作，并根據需要編寫更加復雜的數據預處理程序；第二預處理步驟主節點根據數據預處理處理請求指定從節點通過數據預處理引擎對本地文件進行數據預處理，從節點完成后發送給主節點成功信息；第三預處理步驟主節點根據從節點發送的成功信息更新元數據。本專利技術能夠在數據密集型應用環境下，將現有的分布式系統存儲空間快速聚合， 并向外部計算設備提供數據服務；而且，本專利技術充分利用分布式系統計算資源，能夠根據外部計算設備的需求智能地提供數據服務；并且，本專利技術將部分數據處理負載從外部計算設備轉移到分布式系統中，從而減少向外部計算設備提供數據服務的帶寬需求。附圖說明結合附圖，并通過參考下面的詳細描述，將會更容易地對本專利技術有更完整的理解并且更容易地理解其伴隨的優點和特征，其中圖I示意性地示出了根據本專利技術第一實施例的基于分布式系統的智能數據服務平臺架構。圖2示意性地示出了根據本專利技術第二實施例的向分布式系統寫入文件的流程的示意圖。圖3示意性地示出了根據本專利技術第三實施例的從分布式系統讀取文件的流程的示意圖。圖4示意性地示出了根據本專利技術第四實施例的分布式系統內部預處理流程的示5意圖。需要說明的是，附圖用于說明本專利技術，而非限制本專利技術。注意，表示結構的附圖可能并非按比例繪制。并且，附圖中，相同或者類似的元件標有相同或者類似的標號。具體實施方式為了使本專利技術的內容更加清楚和易懂，下面結合具體實施例和附圖對本專利技術的內容進行詳細描述。<第一實施例>本專利技術是基于傳統分布式系統衍生出來的針對數據密集型應用的智能數據服務方法。具體地，圖I示意性地示出了根據本專利技術第一實施例的基于分布式系統的智能數據服務平臺架構。如圖I所示，類似于絕大多數分布式文件系統和分布式數據庫，整個架構是典型的主從(Master/Slave)架構。例如，圖I所示的基于分布式系統的智能數據服務平臺架構包括一個主節點M以及多個從節點；具體地說，圖I中示出了包括η個從節點的情況，即第一從節點SI、第二從節點S2、第三從節點S3、……、第η從節點Sn。其中，主節點M包括數據預處理分析引擎Ml以及全局元數據管理模塊M2。每個從節點均包括數據預處理引擎(S11、S21、S31、……、Snl)和數據存儲器(S12、S22、S32、……、 Sn2)。外部計算設備pcm (作為客戶端)可對各個從節點進行可以通過不同的從節點讀寫文件。分布式系統的主節點M管理全局文件命名空間，其提供的主要操作為監測并管理從節點的正常運行；保存并更新所有從節點數據存儲的元數據；提供客戶端對數據請求的響應等。從節點(第一從節點SI、第二從節點S2、第三從節點S3、……、第η從節點Sn) 存儲海量數據，在主節點M的協調下直接向客戶端提供數據。在本專利技術實施例的分布式系統中，數據仍然按照原始數據的形式進行存儲，不對文件進行分塊存儲，這是因為分布式系統采用單主節點配置，分塊會加大主節點進行元數據處理的開銷，同時在數據處理過程中不需要再對分塊整合，使得數據處理更加靈活。在分布式系統中存儲的文件直接通過文件路徑訪問，比如“/dirl/filel”，主節點維持分布式系統的全局文件系統的目錄。在本專利技術實施例的分布式系統中，數據是冗余存儲的，一個文件可以冗余存儲在多個從節點中。這是由于分布式系統是采用商用的組件，單節點宕機后仍需要分布式系統能夠正常使用。冗余存儲的另一個優點是在發生讀寫熱點，即多個客戶端集中讀寫少數的幾個文件時，多個客戶端可以通過不同的從節點本文檔來自技高網...

【技術保護點】
一種基于分布式系統的智能數據服務方法，其特征在于包括：利用分布式系統的主節點管理全局文件命名空間；并且，在向分布式系統寫入文件的流程、從分布式系統讀取文件的流程、以及從分布式系統讀取文件的流程中，利用分布式系統的主節點對客戶端的請求進行分析處理，選擇具體的數據預處理程序，分發到分布式系統的從節點以進行后續的數據預處理和傳輸操作。

【技術特征摘要】

【專利技術屬性】
技術研發人員：謝向輝，臧春峰，吳東，郝子宇，原昊，錢磊，張魯飛，胡蘇太，
申請(專利權)人：無錫江南計算技術研究所，
類型：發明
國別省市：