MapReduce應用的相關參數的配置方法和裝置制造方法及圖紙

本發明專利技術涉及分布式文件系統，其提供了一種MapReduce應用的相關參數的配置方法和裝置，該方法包括：接收第一MapReduce作業的處理請求；獲取歷史MapReduce作業的作業特征屬性；從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；以及根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。按照該參數配置方法，能夠有效地降低文件傳輸的網絡開銷、盡可能實現本地化處理的MapReduce作業的參數配置方法，減少管理員配置負擔的同時，有效地增加系統資源利用率。

【技術實現步驟摘要】

本專利技術涉及分布式文件系統，更具體地，涉及基于分布式文件系統的MapReduce應用的相關參數的配置方法和裝置。
技術介紹
分布式文件系統(DistributedFileSystem)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統的設計基于客戶機/服務器模式。一個典型的網絡可能包括多個供多用戶訪問的服務器。MapReduce是Google公司提出的一種用于大規模并行編程的軟件架構。由于MapReduce架構可以實現大規模數據集(大于1TB)的并行運算，并通過把對數據集的大規模操作分發給網絡上的多個節點進行并行運算來實現伸縮性，因此被分布式文件系統廣泛應用。概念“Map(映射)”和“Reduce(化簡)”及其主要思想，都是從函數式編程語言借來的。當前的MapReduce中間件實現要求應用開發者指定一個Map(映射)函數，用來把一組鍵值對映射成一些新的鍵值對(key-valuepair)，稱作中間鍵值對；此外還要求應用開發者指定一個Reduce(化簡)函數，用來對Map函數輸出的中間鍵值對進行進一步處理。分布式文件系統需要將劃分的文件塊存儲在多個計算節點上，并且需要將每個文件塊復制為多個副本保存在不同的計算節點上，由此，對多個計算節點的文件塊進行讀寫操作時就不可避免地產生了文件傳輸的網絡開銷以及盡量對本地節點的數據塊進行讀寫操作的本地化需求。對于現有的分布式文件系統，MapReduce作業的相關參數都是由系統管理員按經驗配置，但是隨著作業、數據和集群特點的變化，一套通用的手動配置不能讓系統資源利用率達到最優。因此，需要一種有效地降低文件傳輸的網絡開銷、盡可能實現本地化處理的MapReduce作業的相關參數的配置，減少管理員配置負擔的同時，有效地增加系統資源利用率。
技術實現思路
根據本專利技術的一個方面，提供了一種基于分布式文件系統的MapReduce應用的相關參數的配置方法，包括：接收第一MapReduce作業的處理請求；獲取歷史MapReduce作業的作業特征屬性；從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。根據本專利技術的另一個方面，提供了一種基于分布式文件系統的MapReduce應用的相關參數的配置裝置，包括：接收模塊，被配置為接收第一MapReduce作業的處理請求；第一獲取模塊，被配置為獲取歷史MapReduce作業的作業特征屬性；第一查找模塊，被配置為從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；第一配置模塊，被配置為根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。根據本專利技術實施例的MapReduce應用的相關參數的配置方法和裝置，能夠有效地降低文件傳輸的網絡開銷、盡可能實現本地化處理，減少管理員配置負擔的同時，有效地增加系統資源利用率。附圖說明通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。圖1示出了適于用來實現本專利技術實施方式的示例性計算機系統/服務器12的框圖。圖2示出根據本專利技術實施例的基于分布式文件系統的MapReduce應用的配置參數的配置方法。圖3示出根據本專利技術的實施例的基于分布式文件系統的MapReduce應用的相關參數的配置裝置300。具體實施方式下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠將本公開的范圍完整地傳達給本領域的技術人員。圖1示出了適于用來實現本專利技術實施方式的示例性計算機系統/服務器12的框圖。圖1顯示的計算機系統/服務器12僅僅是一個示例，不應對本專利技術實施例的功能和使用范圍帶來任何限制。如圖1所示，計算機系統/服務器12以通用計算設備的形式表現。計算機系統/服務器12的組件可以包括但不限于：一個或者多個處理器或者處理單元16，系統存儲器28，連接不同系統組件(包括系統存儲器28和處理單元16)的總線18。總線18表示幾類總線結構中的一種或多種，包括存儲器總線或者存儲器控制器，外圍總線，圖形加速端口，處理器或使用多種總線結構中的任意總線結構的局域總線。舉例來說，這些體系結構包括但不限于工業標準體系結構(ISA)總線，微通道體系結構(MAC)總線，增強型ISA總線、視頻電子標準協會(VESA)局域總線以及外圍組件互連(PCI)總線。計算機系統/服務器12典型地包括多種計算機系統可讀介質。這些介質可以是任何能夠被計算機系統/服務器12訪問的可用介質，包括易失性和非易失性介質，可移動的和不可移動的介質。系統存儲器28可以包括易失性存儲器形式的計算機系統可讀介質，例如隨機存取存儲器(RAM)30和/或高速緩存存儲器32。計算機系統/服務器12可以進一步包括其它可移動/不可移動的、易失性/非易失性計算機系統存儲介質。僅作為舉例，存儲系統34可以用于讀寫不可移動的、非易失性磁介質(圖1未顯示，通常稱為“硬盤驅動器”)。盡管圖1中未示出，可以提供用于對可移動非易失性磁盤(例如“軟盤”)讀寫的磁盤驅動器，以及對可移動非易失性光盤(例如CD-ROM,DVD-ROM或者其它光介質)讀寫的光盤驅動器。在這些情況下，每個驅動器可以通過一個或者多個數據介質接口與總線18相連。存儲器28可以包括至少一個程序產品，該程序產品具有一組(例如至少一個)程序模塊，這些程序模塊被配置以執行本專利技術各實施例的功能。具有一組(至少一個)程序模塊42的程序/實用工具40，可以存儲在例如存儲器28中，這樣的程序模塊42包括——但不限于——操作系統、一個或者多個應用程序、其它程序模塊以及程序數據，這些示例中的每一個或某種組合中可能包括網絡環境的實現。程序模塊42通常執行本專利技術所描述的實施例中的功本文檔來自技高網...

【技術保護點】
一種基于分布式文件系統的MapReduce應用的相關參數的配置方法，包括：接收第一MapReduce作業的處理請求；獲取歷史MapReduce作業的作業特征屬性；從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一MapReduce作業相關的第二MapReduce作業的作業特征屬性；根據所述第二MapReduce作業的作業特征屬性配置所述第一MapReduce作業的相關參數。

【技術特征摘要】
1.一種基于分布式文件系統的MapReduce應用的相關參數的配置方
法，包括：
接收第一MapReduce作業的處理請求；
獲取歷史MapReduce作業的作業特征屬性；
從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一
MapReduce作業相關的第二MapReduce作業的作業特征屬性；
根據所述第二MapReduce作業的作業特征屬性配置所述第一
MapReduce作業的相關參數。
2.根據權利要求1所述的方法，其中所述歷史MapReduce作業的
作業特征屬性包括歷史MapReduce作業的作業名稱和以下中的至少一
個：輸入文件的路徑、輸入文件的大小、輸出文件的路徑、輸出文件的
大小、Map任務數和Reduce任務數。
3.根據權利要求1所述的方法，如果所述第一MapReduce作業是數據
生成類型，則從所述歷史MapReduce作業的作業特征屬性中查找與所述
第一MapReduce作業相關的第二MapReduce作業進一步包括：
從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一
MapReduce作業相似的第三MapReduce作業；
從歷史MapReduce作業的作業特征屬性中查找到以所述第三
MapReduce的輸出文件作為輸入文件的第二MapReduce作業。
4.根據權利要求1所述的方法，如果所述第一MapReduce作業是數
據消費類型，
則從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一
MapReduce作業相關的第二MapReduce作業進一步包括：
從所述歷史MapReduce作業的作業特征屬性中查找到與所述第一
MapReduce作業相似的第二MapReduce作業。
5.根據權利要求3或4所述的方法，其中根據所述第二MapReduce
作業的作業特征屬性配置所述第一MapReduce作業的相關參數進一步包
括：
根據所述第二MapReduce作業的輸入文件的分片大小劃分所述第一
MapReduce作業的輸入文件的數據塊大小。
6.根據權利要求5所述的方法，其中根據所述第二MapReduce作業
的輸入文件的分片大小劃分所述第一MapReduce作業的輸入文件的數據
塊大小包括：將所述第一MapReduce作業的輸入文件的數據塊大小配置
為所述第二MapReduce作業的輸入數據分片大小的整數倍。
7.根據權利要求6所述的方法，其中根據所述第二MapReduce作業
的作業特征屬性配置所述第一MapReduce作業的相關參數進一步包括：
根據所述第二MapReduce作業的輸入文件的分片大小確定所述第一
MapReduce作業的Map任務數或Reduce任務數。
8.根據權利要求7所述的方法，其中根據所述第二MapReduce作業
的輸入文件的分片大小確定所述第一MapReduce作業的Map任務數或
Reduce任務數進一步包括：
獲取處理所述第一MapReduce作業的計算節點數和對應于每個計算
節點的資源槽的數目；
將所述第一MapReduce作業的Map任務數或Reduce任務數配置為所
有計算節點的資源槽的總數的整數倍。
9.根據權利要求3所述的方法，其中從所述歷史MapReduce作業的
作業特征屬性中查找到與所述第一MapReduce作業相似的第三
MapReduce作業包括：
以所述第一MapReduce作業的作業名稱作為關鍵字在所述歷史
MapReduce作業的作業特征屬性中進行查找；
響應于查找到一個與所述第一MapReduce作業具有相同作業名稱
的歷史MapReduce作業，則確定該歷史MapReduce作業為所述第三
MapReduce作業；
響應于查找到多個具有相同作業名的歷史MapReduce作業，則根據
以下的至少之一確定與第一MapReduce作業相似的第三MapReduce作
業：輸出文件的路徑、輸出文件的大小和計算節點數目。
10.根據權利要求4所述的方法，其中從所述歷史MapReduce作業的
作業特征屬性中查找到與所述第一MapReduce作業相似的第二
MapReduce作業進一步包括：以所述第一MapReduce作業的作業名稱作
為關鍵字在所述歷史MapReduce作業的作業特征屬性中進行查找；
響應于查找到一個與所述第一MapReduce作業具有相同作業名稱
的歷史MapReduce作業，則確定該歷史MapReduce作業為所述第二
MapReduce作業；
響應于查找到多個具有相同作業名的歷史MapReduce作業，則根據
以下的至少之一確定與第一MapReduce作業相似的第二MapReduce作
業：輸入文件的路徑、輸出文件的大小和計算節點數。
11.根據權利要求3所述的方法，還包括根據所述第三MapReduce作
業的Map任務數確定所述第一MapReduce作業的Map任務數。
12.根據權利要求4所述的方法，還包括根據所述第二MapReduce作
業的Map任...

【專利技術屬性】
技術研發人員：鄒嘉，史巨偉，鄭勇，王晨，劉杰，
申請(專利權)人：國際商業機器公司，
類型：發明
國別省市：美國;US