一種基于磁盤的對象存儲系統技術方案

本發明專利技術公開了一種基于磁盤的對象存儲系統，包括：輸入模塊、元數據服務器、內核層模塊和磁盤模塊，其中，輸入模塊連接元數據服務器，元數據服務器通過內核層模塊連接磁盤模塊；輸入模塊輸出待存儲數據至元數據服務器；元數據服務器基于對象存儲技術處理待存儲數據，標記該處理后的數據為對象數據，通過內核層模塊獲取磁盤的存儲空間信息，基于存儲空間信息存儲對象數據。本發明專利技術提供一個元數據服務器，將對數據進行處理以實現對象存儲，基于內核層直接將數據存儲進入磁盤，不經過其他的緩存結構，能夠顯著提高數據傳輸的效率和速度。

Disk based object storage system

The invention discloses an object storage system based on disk comprises an input module, metadata server, kernel layer module and disk module, the input module is connected with the metadata server, metadata server connection disk module through the kernel layer module input module; the output data to be stored to the metadata server; metadata server object storage technology for processing based on the data storage, mark the processed data to object data storage, spatial information access to the disk through the kernel layer module, storage space information storage based on object data. The invention provides a metadata server for data processing to achieve the object storage, based on kernel data directly into the disk storage, without other cache structure, can significantly improve the efficiency and speed of data transmission.

【技術實現步驟摘要】
一種基于磁盤的對象存儲系統
本專利技術涉及一種基于磁盤的對象存儲系統，屬于計算機存儲領域。
技術介紹
隨著信息技術的飛速發展，數據爆炸已成為一個突出問題，大數據存儲和管理技術已經是近幾年的研究熱點之一。傳統的數據存儲與管理方式已經很難滿足大數據存儲在在容量、性能、存儲效率和安全性等方面的要求。而且大部分數據采集系統，比如雷達回波信號數據采集、數字視頻信號處理及高碼率衛星數據信號的采集等，都要求對數據進行實時的傳輸與存儲，這就對數據采集存儲系統的采集速率、傳輸速度、存儲速度、存儲容量以及數據存儲的可靠性等方面提出了更高的要求。因此，對高速大數據存儲技術的研究就越發顯得重要。大數據高效存儲是未來的存儲應用趨勢。目前市場上大多數的存儲方案大部分是基于購買商業硬件或是使用一些比較成熟的分布式存儲技術方案，購買商業的硬件設備方案的優點是穩定性比較高，缺點是價格昂貴，一般除了銀行這種對數據正確性要求極高的行業比較適合。分布式存儲技術的方案采用的是軟件實現方法，將多個硬件設備聚集起來使用，能夠擴充其存儲容量，但是在讀寫效率方面略遜與商業存儲方案，還需要不斷的完善。
技術實現思路
為了解決上述問題，本專利技術提供一種基于磁盤的對象存儲系統。本專利技術采用的技術方案為一種基于磁盤的對象存儲系統，包括：輸入模塊、元數據服務器、內核層模塊和磁盤模塊，其中，輸入模塊連接元數據服務器，元數據服務器通過內核層模塊連接磁盤模塊；輸入模塊輸出待存儲數據至元數據服務器；元數據服務器基于對象存儲技術處理待存儲數據，標記該處理后的數據為對象數據，通過內核層模塊獲取磁盤的存儲空間信息，基于存儲空間信息存儲對象數據。優選地，所述輸入模塊還包括web單元，用于通過web瀏覽器獲取待存儲數據。優選地，所述元數據服務器解析待存儲數據，基于預設的分塊規則將數據分塊，基于分塊數據的屬性輸出對象信息，結合對象信息和分塊數據，標記其為對象數據。優選地，所述內核層模塊基于內核函數讀取磁盤的存儲空間信息并反饋至元數據服務器，元數據服務器基于存儲空間信息生成分塊規則。優選地，所述存儲空間信息包括磁盤容量和磁道位置。本專利技術的有益效果為提供一個元數據服務器，將對數據進行處理以實現對象存儲，基于內核層直接將數據存儲進入磁盤，不經過其他的緩存結構，能夠顯著提高數據傳輸的效率和速度。附圖說明圖1所示為基于本專利技術實施例的一種基于磁盤的對象存儲系統示意圖。具體實施方式以下結合實施例對本專利技術進行說明。基于專利技術的實施例，如圖1所示一種基于磁盤的對象存儲系統，包括：輸入模塊、元數據服務器、內核層模塊和磁盤模塊，其中，輸入模塊連接元數據服務器，元數據服務器通過內核層模塊連接磁盤模塊；輸入模塊輸出待存儲數據至元數據服務器；元數據服務器基于對象存儲技術處理待存儲數據，標記該處理后的數據為對象數據，通過內核層模塊獲取磁盤的存儲空間信息，基于存儲空間信息存儲對象數據。輸入模塊為數據的來源，元數據服務器為數據處理的中心，內核層模塊為承接元數據服務器命令并在內核層次進行硬件/接口方面操作的模塊；元數據服務器獲取數據之后，首先是對數據進行處理，因為要實現對象存儲，需要對所存儲的數據進行屬性的區別和基于該區別的存儲映射；第一步解析數據，獲取數據的一些基本屬性的信息，例如數據量的大小，數據的標簽內容，數據的類型等，基于這部分信息，生成一個標記，結合標記和數據生成一個集合體，即對象存儲的基本數據單元（對象數據），然后通過內核層模塊的相關的內核函數，獲取磁盤的存儲信息，例如磁道位置，磁盤大小等；將對象數據存儲入磁盤，例如磁頭以某一個規定的順序運行，然后依次將數據存入，同時返回寫入的位置信息，將位置信息與對象數據進行映射，即完成對象存儲的過程。將磁盤驅動器作為對象存儲數據，更接近操作系統的底層，也就是在內核層直接將從服務器接收到的數據保存到磁盤上，在整個系統運行過程中充分利用磁盤的讀寫性能，以至少提高一倍的效率讀寫數據，因為不需要經過系統的緩存了，減少了內存到磁盤的一次中轉，其性能的最大發揮只取決于磁盤的參數等硬件指標。所述輸入模塊還包括web單元，用于通過web瀏覽器獲取待存儲數據。輸入模塊除了能將本地存儲的數據輸出之外，還設有遠程的數據傳輸單元，通過網絡接收web瀏覽器輸出的數據。所述元數據服務器解析待存儲數據，基于預設的分塊規則將數據分塊，基于分塊數據的屬性輸出對象信息，結合對象信息和分塊數據，標記其為對象數據。對數據進行分塊，然后進行標記，是現在分布式文件的基本的內容，而分塊的規則一般采用數據的類型（即同類信息放一起）、大小、時鐘信息（一定時間內的數據分在一起），數據的標簽（即數據本身具有標簽說明數據內容，同標簽則分在一起），基于上述規則分塊的數據，輸出對象信息（例如屬于那個類型的，第幾個分塊，分塊時間等），結合對象信息和數據本身，則形成對象數據。所述內核層模塊基于內核函數讀取磁盤的存儲空間信息并反饋至元數據服務器，元數據服務器基于存儲空間信息生成分塊規則。內核層模塊獲取磁盤的存儲屬性的信息之后，反饋到元數據服務器，服務器根據存儲信息進行分析，例如磁盤大小為100MB，而本次輸入的數據為96，則可以分為2個塊各48，然后剩下的4mb則作為存儲其他合適數據塊的分塊，因為是根據對象屬性進行映射對應的方式，所以存儲在不同磁盤也不會對數據的連續性造成太大的影響。所述存儲空間信息包括磁盤容量和磁道位置。以上所述，只是本專利技術的較佳實施例而已，本專利技術并不局限于上述實施方式，只要其以相同的手段達到本專利技術的技術效果，都應屬于本專利技術的保護范圍。在本專利技術的保護范圍內其技術方案和/或實施方式可以有各種不同的修改和變化。本文檔來自技高網...

【技術保護點】
一種基于磁盤的對象存儲系統，其特征在于，包括：輸入模塊、元數據服務器、內核層模塊和磁盤模塊，其中，輸入模塊連接元數據服務器，元數據服務器通過內核層模塊連接磁盤模塊；輸入模塊輸出待存儲數據至元數據服務器；元數據服務器基于對象存儲技術處理待存儲數據，標記該處理后的數據為對象數據，通過內核層模塊獲取磁盤的存儲空間信息，基于存儲空間信息存儲對象數據。

【技術特征摘要】
1.一種基于磁盤的對象存儲系統，其特征在于，包括：輸入模塊、元數據服務器、內核層模塊和磁盤模塊，其中，輸入模塊連接元數據服務器，元數據服務器通過內核層模塊連接磁盤模塊；輸入模塊輸出待存儲數據至元數據服務器；元數據服務器基于對象存儲技術處理待存儲數據，標記該處理后的數據為對象數據，通過內核層模塊獲取磁盤的存儲空間信息，基于存儲空間信息存儲對象數據。2.根據權利要求1所述的一種基于磁盤的對象存儲系統，其特征在于，所述輸入模塊還包括web單元，用于通過web瀏覽器獲取待存儲數據。3...

【專利技術屬性】
技術研發人員：張勤，李進，
申請(專利權)人：深圳市中博睿存信息技術有限公司，
類型：發明
國別省市：廣東,44