數(shù)據(jù)處理系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)提供了一種數(shù)據(jù)處理系統(tǒng)，包括：數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)通信模塊，數(shù)據(jù)通信模塊用于在數(shù)據(jù)處理模塊和數(shù)據(jù)存儲(chǔ)模塊之間傳送數(shù)據(jù)，其中，數(shù)據(jù)處理模塊中包括數(shù)據(jù)緩存子模塊，數(shù)據(jù)緩存子模塊用于存儲(chǔ)處理頻率高于預(yù)定頻率閾值的數(shù)據(jù)。通過本發(fā)明專利技術(shù)所描述的數(shù)據(jù)處理系統(tǒng)，通過利用數(shù)據(jù)緩存模塊對(duì)經(jīng)常處理的數(shù)據(jù)進(jìn)行緩存，從而提高了數(shù)據(jù)的訪問效率，緩解了數(shù)據(jù)處理模塊中內(nèi)存與磁盤速率的差異。

【技術(shù)實(shí)現(xiàn)步驟摘要】
數(shù)據(jù)處理系統(tǒng)
本專利技術(shù)基本上涉及數(shù)據(jù)庫(kù)領(lǐng)域，更具體地來說，涉及一種數(shù)據(jù)處理系統(tǒng)。
技術(shù)介紹
在數(shù)據(jù)庫(kù)領(lǐng)域，處理海量數(shù)據(jù)一般采用的傳統(tǒng)硬件系統(tǒng)，其結(jié)構(gòu)大多為單機(jī)(使用本機(jī)存儲(chǔ))、單機(jī)或者集群加共享存儲(chǔ)(單個(gè)存儲(chǔ)設(shè)備)兩種模式。數(shù)據(jù)處理系統(tǒng)提交使用之前需要集成各部分組件，包括機(jī)柜、電源、節(jié)點(diǎn)機(jī)、存儲(chǔ)、網(wǎng)絡(luò)等各部件。目前使用的數(shù)據(jù)處理業(yè)務(wù)的硬件系統(tǒng)，對(duì)使用環(huán)境和人員有較高要求，如專用機(jī)房、專用制冷設(shè)備、獨(dú)立的電源系統(tǒng)，網(wǎng)絡(luò)等，同時(shí)對(duì)人員使用帶來諸多不便，如管理、技能、各品牌兼容性等方面。
技術(shù)實(shí)現(xiàn)思路
為了克服上述現(xiàn)有技術(shù)的缺陷，本專利技術(shù)提供了一種數(shù)據(jù)處理系統(tǒng)，解決了如何提高數(shù)據(jù)處理系統(tǒng)處理效率的技術(shù)問題。具體來說，本專利技術(shù)針對(duì)傳統(tǒng)數(shù)據(jù)處理系統(tǒng)通常需要把大量數(shù)據(jù)從共享存儲(chǔ)讀取到服務(wù)器內(nèi)存這一過程，而這一過程存在很多瓶頸，比如服務(wù)器內(nèi)存處與磁盤IO速率差異很大、數(shù)據(jù)傳輸管道的數(shù)量和帶寬是否滿足大量數(shù)據(jù)傳輸、共享存儲(chǔ)是否存在單點(diǎn)故障 以及共享存儲(chǔ)是否存在單點(diǎn)性能不足情況從以下五個(gè)方面進(jìn)行了改進(jìn)(I)數(shù)據(jù)篩選；(2)減少內(nèi)存與磁盤三者之間的IO速率差異；(3)增加數(shù)據(jù)傳輸?shù)墓艿罃?shù)量；(4)增加數(shù)據(jù)傳輸?shù)墓艿缼挘?5)提升共享存儲(chǔ)處理能力和冗余保護(hù)能力。本專利技術(shù)提供了一種數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)通信模塊，所述數(shù)據(jù)通信模塊用于在所述數(shù)據(jù)處理模塊和所述數(shù)據(jù)存儲(chǔ)模塊之間傳送數(shù)據(jù)，其中，所述數(shù)據(jù)處理模塊中包括數(shù)據(jù)緩存子模塊，所述數(shù)據(jù)緩存子模塊用于存儲(chǔ)處理頻率高于預(yù)定頻率閾值的數(shù)據(jù)。在所述數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)處理模塊中還包括數(shù)據(jù)篩選子模塊，所述數(shù)據(jù)篩選子模塊用于判斷所述數(shù)據(jù)處理模塊所處理的數(shù)據(jù)的處理頻率是否高于所述預(yù)定頻率閾值，如果所述處理頻率高于所述預(yù)定頻率閾值，則將所處理的數(shù)據(jù)存儲(chǔ)在所述數(shù)據(jù)緩存子模塊中。在所述數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)處理模塊還包括處理器和內(nèi)存。在所述數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)處理模塊由至少兩臺(tái)服務(wù)器實(shí)現(xiàn)。在所述數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)通信模塊為無限帶寬網(wǎng)絡(luò)模塊。在所述數(shù)據(jù)處理系統(tǒng)中，所述無限帶寬網(wǎng)絡(luò)模塊包括多個(gè)無限帶寬網(wǎng)絡(luò)接口，每個(gè)所述數(shù)據(jù)處理模塊和每個(gè)所述數(shù)據(jù)存儲(chǔ)模塊通過所述多個(gè)無限帶寬網(wǎng)絡(luò)接口相通信。在所述數(shù)據(jù)處理系統(tǒng)中，所述多個(gè)無限帶寬網(wǎng)絡(luò)接口為四個(gè)無限帶寬網(wǎng)絡(luò)接口。在所述數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)存儲(chǔ)模塊為多個(gè)數(shù)據(jù)存儲(chǔ)模塊、每個(gè)所述數(shù)據(jù)存儲(chǔ)模塊均包括處理器、內(nèi)存和操作系統(tǒng)。在所述數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)處理模塊根據(jù)存儲(chǔ)策略將數(shù)據(jù)存儲(chǔ)在對(duì)應(yīng)數(shù)據(jù)存儲(chǔ)模塊中并且從對(duì)應(yīng)數(shù)據(jù)存儲(chǔ)模塊中讀取數(shù)據(jù)。在所述數(shù)據(jù)處理系統(tǒng)中，所述存儲(chǔ)策略包括應(yīng)用數(shù)據(jù)存儲(chǔ)模塊數(shù)量最少的策略和所應(yīng)用的每個(gè)數(shù)據(jù)存儲(chǔ)模塊所處理的數(shù)據(jù)量相同的策略。通過本專利技術(shù)所描述的數(shù)據(jù)處理系統(tǒng)，能夠提高數(shù)據(jù)處理系統(tǒng)的處理效率。附圖說明附圖用來提供對(duì)本專利技術(shù)的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本專利技術(shù)的實(shí)施例一起用于解釋本專利技術(shù)，并不構(gòu)成對(duì)本專利技術(shù)的限制。在附圖中圖I是根據(jù)本專利技術(shù)的實(shí)施例的數(shù)據(jù)處理系統(tǒng)的示意圖2是根據(jù)本專利技術(shù)的實(shí)例的數(shù)據(jù)處理系統(tǒng)的示意圖。具體實(shí)施方式以下結(jié)合附圖對(duì)本專利技術(shù)的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本專利技術(shù)，并不用于限定本專利技術(shù)。圖I是根據(jù)本專利技術(shù)的實(shí)施例的數(shù)據(jù)處理系統(tǒng)100的示意圖。在該數(shù)據(jù)處理系統(tǒng) 100中，包括有數(shù)據(jù)處理模塊102、數(shù)據(jù)通信模塊106和數(shù)據(jù)存儲(chǔ)模塊108。其中，數(shù)據(jù)處理模塊102用于處理數(shù)據(jù)；數(shù)據(jù)通信模塊106用于在數(shù)據(jù)處理模塊102和數(shù)據(jù)存儲(chǔ)模塊108 之間傳送數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)模塊108用于存儲(chǔ)數(shù)據(jù)(包括但不限于原始數(shù)據(jù)和經(jīng)過數(shù)據(jù)處理模塊102處理的數(shù)據(jù)等等)。數(shù)據(jù)處理模塊102中包括數(shù)據(jù)緩存子模塊104，數(shù)據(jù)緩存子模塊104用于存儲(chǔ)由數(shù)據(jù)緩存子模塊104進(jìn)行處理的處理頻率(例如，單位時(shí)間內(nèi)的處理次數(shù))高于預(yù)定頻率閾值的數(shù)據(jù)。也就是說，數(shù)據(jù)緩存子模塊104能夠存儲(chǔ)數(shù)據(jù)處理模塊102中經(jīng)常處理(即處理頻率較高，例如，處理頻率高于預(yù)定頻率閾值)的數(shù)據(jù)，減少了存數(shù)據(jù)處理模塊102頻繁訪問數(shù)據(jù)存儲(chǔ)模塊108中的相對(duì)低速硬盤的概率，提高了訪問效率，緩解了數(shù)據(jù)處理模塊102 中內(nèi)存與磁盤速率的差異。在一個(gè)優(yōu)選實(shí)施例中，數(shù)據(jù)處理模塊102中還包括有數(shù)據(jù)篩選子模塊(未示出)， 數(shù)據(jù)篩選子模塊用于判斷數(shù)據(jù)處理模塊102所處理的數(shù)據(jù)的處理頻率是否高于預(yù)定頻率閾值，如果處理頻率高于預(yù)定頻率閾值，則將所處理的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)緩存子模塊104中。 例如，當(dāng)用戶指示數(shù)據(jù)處理模塊102處理數(shù)據(jù)時(shí)，數(shù)據(jù)處理模塊102首先判斷所要處理的數(shù)據(jù)是否存儲(chǔ)在數(shù)據(jù)緩存子模塊104中，如果該數(shù)據(jù)存儲(chǔ)在該數(shù)據(jù)緩存子模塊104中，則直接從該數(shù)據(jù)緩存子模塊104中調(diào)取該數(shù)據(jù)進(jìn)行處理，如果該數(shù)據(jù)存儲(chǔ)在該數(shù)據(jù)緩存子模塊 104中才通過數(shù)據(jù)通信模塊106從數(shù)據(jù)存儲(chǔ)模塊108中調(diào)取該數(shù)據(jù)。其中，預(yù)定頻率閾值可以預(yù)先設(shè)定在該數(shù)據(jù)處理模塊102中。在一個(gè)優(yōu)選實(shí)施例中，數(shù)據(jù)處理模塊102采用集群模式設(shè)計(jì)，至少采用兩臺(tái)服務(wù)器，保證了該數(shù)據(jù)處理模塊102具有高可用和負(fù)載均衡的特性。在數(shù)據(jù)處理系統(tǒng)100中，數(shù)據(jù)通信模塊106可以是無限帶寬(Infiniband)網(wǎng)絡(luò)模塊。該無限帶寬網(wǎng)絡(luò)模塊106包括多個(gè)無限帶寬(Infiniband)網(wǎng)絡(luò)接口，每個(gè)數(shù)據(jù)處理模塊102和每個(gè)數(shù)據(jù)存儲(chǔ)模塊108通過多個(gè)無限帶寬網(wǎng)絡(luò)接口相通信。具體來說，可以將多個(gè)無限帶寬網(wǎng)絡(luò)接口聚合使用，即將多個(gè)接口組合為一個(gè)接口使用，這樣與每個(gè)接口相連接的用戶就可以通過使用經(jīng)過聚合后的接口而獲得了成倍的帶寬。優(yōu)選地，該無限帶寬網(wǎng)絡(luò)接口可以為四個(gè)。在數(shù)據(jù)處理系統(tǒng)100中，數(shù)據(jù)存儲(chǔ)模塊108為多個(gè)，每個(gè)數(shù)據(jù)存儲(chǔ)模塊108均包括處理器、內(nèi)存和操作系統(tǒng)。雖然在圖I中示出了三個(gè)存儲(chǔ)模塊108，但并不限于此。通過處理器、內(nèi)存和操作系統(tǒng)每個(gè)數(shù)據(jù)存儲(chǔ)模塊108均可以對(duì)需要處理的數(shù)據(jù)進(jìn)行預(yù)處理，還可以自行進(jìn)行冗余備份和數(shù)據(jù)均衡等等操作。數(shù)據(jù)處理模塊102根據(jù)存儲(chǔ)策略將數(shù)據(jù)存儲(chǔ)在對(duì)應(yīng)數(shù)據(jù)存儲(chǔ)模塊中并且從對(duì)應(yīng)數(shù)據(jù)存儲(chǔ)模塊中讀取數(shù)據(jù)。其中，存儲(chǔ)策略包括應(yīng)用數(shù)據(jù)存儲(chǔ)模塊數(shù)量最少的策略和所應(yīng)用的每個(gè)數(shù)據(jù)存儲(chǔ)模塊所處理的數(shù)據(jù)量相同的策略。例如，如果采用應(yīng)用數(shù)據(jù)存儲(chǔ)模塊108數(shù)量最少的策略，則當(dāng)需要將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)模塊108中時(shí)，優(yōu)先選擇已經(jīng)開啟和運(yùn)行的數(shù)據(jù)存儲(chǔ)模塊108，從而節(jié)省了資源。如果采用所應(yīng)用的每個(gè)數(shù)據(jù)存儲(chǔ)模塊所處理的數(shù)據(jù)量相同的策略，則當(dāng)需要將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)模塊108中時(shí)，優(yōu)先選擇相對(duì)空閑的數(shù)據(jù)存儲(chǔ)模塊108，從而盡量保證各個(gè)數(shù)據(jù)存儲(chǔ)模塊108 的負(fù)載均衡。當(dāng)然，這里的“相同”指的是一種大體平均的概念，不一定要達(dá)到絕對(duì)相同，例如，保證負(fù)載量最大的數(shù)據(jù)存儲(chǔ)模塊108和負(fù)載量最小的數(shù)據(jù)存儲(chǔ)模塊108之間 的負(fù)載差小于預(yù)定負(fù)載閾值。傳統(tǒng)的共享存儲(chǔ)架構(gòu)為“存儲(chǔ)控制器+存儲(chǔ)擴(kuò)展柜”模式。也就意味著，在傳統(tǒng)方式下，存儲(chǔ)控制器存在著單點(diǎn)故障和性能瓶頸問題；而本次設(shè)計(jì)的數(shù)據(jù)處理一體機(jī)包含多個(gè)數(shù)據(jù)存儲(chǔ)模塊108，并且每個(gè)模塊108都具有處理能力，可以實(shí)現(xiàn)大規(guī)模數(shù)據(jù)并行處理， 把繁雜的存儲(chǔ)任務(wù)進(jìn)行分布式處理，另外這些模塊之間具有冗余性，從而有效解決了大規(guī)模數(shù)據(jù)的處理能力和安全問題。通過本實(shí)施例所描述的數(shù)據(jù)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括：數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)通信模塊，所述數(shù)據(jù)通信模塊用于在所述數(shù)據(jù)處理模塊和所述數(shù)據(jù)存儲(chǔ)模塊之間傳送數(shù)據(jù)，其中，所述數(shù)據(jù)處理模塊中包括數(shù)據(jù)緩存子模塊，所述數(shù)據(jù)緩存子模塊用于存儲(chǔ)處理頻率高于預(yù)定頻率閾值的數(shù)據(jù)。

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李柳，范玉峰，曹振南，
申請(qǐng)(專利權(quán))人：曙光信息產(chǎn)業(yè)北京有限公司，
類型：發(fā)明
國(guó)別省市：