一種作業(yè)任務(wù)的調(diào)度方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)提供了一種作業(yè)任務(wù)的調(diào)度方法和裝置，其中的方法具體包括：收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。本發(fā)明專利技術(shù)能夠提高計(jì)算機(jī)集群的吞吐率。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本申請(qǐng)涉及計(jì)算機(jī)
，特別是涉及一種作業(yè)任務(wù)的調(diào)度方法和裝置。
技術(shù)介紹
計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)，其通過(guò)多臺(tái)計(jì)算機(jī)(又稱為計(jì)算資源，諸如軟件和/或硬件資源)連接起來(lái)協(xié)作完成計(jì)算作業(yè)。這些計(jì)算資源位于同一管理域中，其具有統(tǒng)一的管理策略并且作為一個(gè)整體向用戶提供服務(wù)。Hadoop就是這樣一個(gè)分布式系統(tǒng)的集群架構(gòu)，可以實(shí)現(xiàn)高效率的并行計(jì)算和海量存儲(chǔ)。計(jì)算機(jī)集群通過(guò)多臺(tái)計(jì)算機(jī)完成同一作業(yè)，能夠達(dá)到更高的效率。例如，在使用MapReduce (映射化簡(jiǎn))模型進(jìn)行大規(guī)模數(shù)據(jù)的并行計(jì)算時(shí),對(duì)于一個(gè)MapReduce作業(yè)(即用戶的一個(gè)計(jì)算請(qǐng)求)需要拆分成多個(gè)Map任務(wù)和Reduce任務(wù)分配到多個(gè)計(jì)算節(jié)點(diǎn)上執(zhí)行；計(jì)算節(jié)點(diǎn)在集群系統(tǒng)中可以表示單臺(tái)計(jì)算機(jī)。將計(jì)算機(jī)集群上的Map或Reduce任務(wù)等作業(yè)任務(wù)分配到多個(gè)計(jì)算節(jié)點(diǎn)上的過(guò)程可以稱為作業(yè)任務(wù)的調(diào)度。目前Hadoop內(nèi)置的調(diào)度器負(fù)責(zé)進(jìn)行作業(yè)任務(wù)的調(diào)度。現(xiàn)有的調(diào)度器通常按照CPU計(jì)算核心的多少進(jìn)行作業(yè)業(yè)務(wù)的調(diào)度，每個(gè)計(jì)算節(jié)點(diǎn)可以根據(jù)自己實(shí)際的CPU計(jì)算核心的個(gè)數(shù)配置作業(yè)任務(wù)個(gè)數(shù)，一次配好后，啟動(dòng)集群以后便不可修改。在進(jìn)行調(diào)度的過(guò)程中，一旦某個(gè)計(jì)算節(jié)點(diǎn)上出現(xiàn)空閑的CPU計(jì)算核心，調(diào)度器便會(huì)分配一個(gè)作業(yè)任務(wù)給該節(jié)點(diǎn)。如果當(dāng)前所有計(jì)算節(jié)點(diǎn)的所有計(jì)算核心都被作業(yè)任務(wù)占用了，則剩下的作業(yè)任務(wù)需要排隊(duì)等待計(jì)算節(jié)點(diǎn)的分配。現(xiàn)有技術(shù)中調(diào)度器依據(jù)計(jì)算節(jié)點(diǎn)的CPU計(jì)算核心進(jìn)行作業(yè)任務(wù)的調(diào)度，這樣，在某些情況下，雖然計(jì)算節(jié)點(diǎn)上出現(xiàn)空閑的CPU計(jì)算核心，但是，當(dāng)其上有大量的數(shù)據(jù)進(jìn)行計(jì)算時(shí)，還是不可避免地出現(xiàn)內(nèi)存溢出、網(wǎng)絡(luò)阻塞或者直接宕機(jī)的現(xiàn)象。而在計(jì)算節(jié)點(diǎn)出現(xiàn)上述現(xiàn)象中任一的情況下，相應(yīng)計(jì)算節(jié)點(diǎn)上的作業(yè)任務(wù)就會(huì)處理失敗，而處理失敗的作業(yè)任務(wù)需要調(diào)度器重新分配給其它計(jì)算節(jié)點(diǎn)進(jìn)行處理，因此，此時(shí)計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量會(huì)受到影響，也即容易導(dǎo)致計(jì)算機(jī)集群的吞吐率降低。總之，需要本領(lǐng)域技術(shù)人員迫切解決的一個(gè)技術(shù)問(wèn)題就是如何能夠提高計(jì)算機(jī)集群的吞吐率。
技術(shù)實(shí)現(xiàn)思路
本申請(qǐng)所要解決的技術(shù)問(wèn)題是提供一種作業(yè)任務(wù)的調(diào)度方法和裝置，能夠提高計(jì)算機(jī)集群的吞吐率。為了解決上述問(wèn)題，本申請(qǐng)公開(kāi)了一種作業(yè)任務(wù)的調(diào)度方法，包括收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。優(yōu)選的，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。優(yōu)選的，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。優(yōu)選的，所述收集各計(jì)算節(jié)點(diǎn)的硬件資源信息的步驟，進(jìn)一步包括收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù)；則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配化簡(jiǎn)Reduce任務(wù)；則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息,選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。另一方面，本申請(qǐng)還公開(kāi)了一種作業(yè)任務(wù)的調(diào)度裝置，包括收集模塊，用于收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；及調(diào)度模塊，用于將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。優(yōu)選的，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。優(yōu)選的，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。優(yōu)選的，所述收集模塊進(jìn)一步包括任務(wù)收集子模塊，用于收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；聚集子模塊，用于對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信息。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù)；則所述收集模塊進(jìn)一步包括第一選取子模塊，用于依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；第一分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。優(yōu)選的，所述待分配作業(yè)任務(wù)為待分配化簡(jiǎn)Reduce任務(wù)；則所述收集模塊進(jìn)一步包括第二選取子模塊,用于依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；第二分配子模塊，用于將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。與現(xiàn)有技術(shù)相比，本申請(qǐng)具有以下優(yōu)點(diǎn)本申請(qǐng)實(shí)施例采用預(yù)設(shè)閾值表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值，計(jì)算節(jié)點(diǎn)的硬件資源信息達(dá)到這個(gè)極限值就容易引發(fā)硬件資源故障，例如，在CPU使用過(guò)多引發(fā)網(wǎng)速過(guò)慢、磁盤讀寫過(guò)慢等硬件故障，內(nèi)存使用過(guò)多引發(fā)的內(nèi)存溢出，磁盤使用過(guò)頻引發(fā)的磁盤讀寫錯(cuò)誤，網(wǎng)絡(luò)帶寬使用過(guò)多引發(fā)的網(wǎng)絡(luò)阻塞，或者，多個(gè)硬件資源故障引發(fā)的計(jì)算節(jié)點(diǎn)巖機(jī)等等。因此，本申請(qǐng)實(shí)施例收集各計(jì)算節(jié)點(diǎn)的硬件資源信息，并將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；能夠避免計(jì)算節(jié)點(diǎn)出現(xiàn)內(nèi)存溢出、網(wǎng)絡(luò)阻塞或者直接宕機(jī)等硬件故障現(xiàn)象；由于硬件故障現(xiàn)象的避免能夠大大降低相應(yīng)計(jì)算節(jié)點(diǎn)上作業(yè)任務(wù)處理失敗的幾率，也即能夠使得相應(yīng)計(jì)算節(jié)點(diǎn)上作業(yè)任務(wù)處理失敗的幾率微乎其微；因此，本申請(qǐng)能夠提高計(jì)算機(jī)集群在單位時(shí)間內(nèi)處理的數(shù)據(jù)量，也即能夠提高計(jì)算機(jī)集群的吞吐率；其次，計(jì)算節(jié)點(diǎn)上硬件資源屬于整個(gè)計(jì)算機(jī)集群，現(xiàn)有技術(shù)中調(diào)度器依據(jù)CPU計(jì)算核心進(jìn)行作業(yè)任務(wù)的調(diào)度，在有些情況下，還會(huì)出現(xiàn)作業(yè)任務(wù)的計(jì)算占用了計(jì)算節(jié)點(diǎn)上的所有CPU計(jì)算核心，但是計(jì)算節(jié)點(diǎn)上硬件資源的使用率很低的現(xiàn)象，此種現(xiàn)象很容易導(dǎo)致單個(gè)計(jì)算節(jié)點(diǎn)上硬件資源的浪費(fèi)以及計(jì)算機(jī)集群上各計(jì)算節(jié)點(diǎn)的資源浪費(fèi)；而本申請(qǐng)實(shí)施例依據(jù)計(jì)算節(jié)點(diǎn)的硬件資源信息進(jìn)行作業(yè)任務(wù)的調(diào)度，能夠充分利用計(jì)算機(jī)集群上各計(jì)算節(jié)點(diǎn)的資源，避免計(jì)算機(jī)集群上的資源浪費(fèi)；由于利用更多的資源去處理計(jì)算本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種作業(yè)任務(wù)的調(diào)度方法，其特征在于，包括：收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。

【技術(shù)特征摘要】
1.一種作業(yè)任務(wù)的調(diào)度方法，其特征在于，包括收集各計(jì)算節(jié)點(diǎn)的硬件資源信息；將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)；所述預(yù)設(shè)閾值用于表示計(jì)算節(jié)點(diǎn)的硬件資源出現(xiàn)故障的極限值。2.如權(quán)利要求1所述的方法，其特征在于，所述硬件資源信息包括如下分項(xiàng)硬件資源信息中的一分項(xiàng)或多分項(xiàng)平均負(fù)載信息、CPU使用信息、內(nèi)存使用信息、磁盤信息和網(wǎng)絡(luò)帶寬信息；所述磁盤信息進(jìn)一步包括磁盤輸入輸入信息、每塊磁盤使用信息和每個(gè)磁盤分區(qū)的使用信息中的一項(xiàng)或多項(xiàng)。3.如權(quán)利要求2所述的方法，其特征在于，所述硬件資源信息小于預(yù)設(shè)閾值包括各分項(xiàng)硬件資源信息分別小于對(duì)應(yīng)的預(yù)設(shè)分項(xiàng)閾值；和/或，多分項(xiàng)硬件資源信息的平均值小于預(yù)設(shè)平均閾值。4.如權(quán)利要求1所述的方法，其特征在于，所述收集各計(jì)算節(jié)點(diǎn)的硬件資源信息的步驟，進(jìn)一步包括收集作業(yè)任務(wù)的硬件資源信息，所述作業(yè)任務(wù)的硬件資源信息用于描述作業(yè)任務(wù)，執(zhí)行作業(yè)業(yè)務(wù)的計(jì)算節(jié)點(diǎn)及相應(yīng)的硬件資源信息的對(duì)應(yīng)關(guān)系；對(duì)同一計(jì)算節(jié)點(diǎn)的作業(yè)任務(wù)的硬件資源信息進(jìn)行聚集，得到計(jì)算節(jié)點(diǎn)的硬件資源信肩、O5.如權(quán)利要求1述的方法，其特征在于，所述待分配作業(yè)任務(wù)為待分配映射Map任務(wù); 則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)所述待分配Map任務(wù)對(duì)應(yīng)輸入文件和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且存儲(chǔ)有所述輸入文件或者與所述輸入文件的存儲(chǔ)節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。6.如權(quán)利要求1所述的方法，其特征在于，所述待分配作業(yè)任務(wù)為待分配化簡(jiǎn)Reduce 任務(wù)；則所述將待分配作業(yè)任務(wù)調(diào)度至硬件資源信息小于預(yù)設(shè)閾值的計(jì)算節(jié)點(diǎn)的步驟，進(jìn)一步包括依據(jù)待分配Reduce任務(wù)對(duì)應(yīng)Map任務(wù)和各計(jì)算節(jié)點(diǎn)的硬件資源信息，選取硬件資源信息小于預(yù)設(shè)閾值且與對(duì)應(yīng)Map任務(wù)的計(jì)算節(jié)點(diǎn)位于同一機(jī)架的計(jì)算節(jié)點(diǎn)；將所述待分配Map任務(wù)分配至選取的該計(jì)算節(jié)點(diǎn)。7.—種作業(yè)任務(wù)的調(diào)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：高印會(huì)，羅峰，黃蘇支，李娜，
申請(qǐng)(專利權(quán))人：北京億贊普網(wǎng)絡(luò)技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：