計算資源分配方法及裝置制造方法及圖紙

本申請公開了一種計算資源分配方法及裝置，該方法涉及計算機技術領域。包括：獲取待處理任務以及所述待處理任務的優先級；根據所述待處理任務的優先級確定所述待處理任務的最大計算資源；根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源。該方案在確定待處理任務的實際計算資源時，會參考待處理任務的優先級別對應的最大計算資源和歷史數據量，并不是根據固定的參數來確定，對于不同的待處理任務，當優先級和歷史數據量不同時，得到的計算資源也不同，從而能夠更加合理地為每個待處理任務分配計算資源，進而提升集群的計算資源利用率和集群的任務吞吐量。

Computing resource allocation method and device

The invention discloses a method and a device for allocating computing resources, which relate to the field of computer technology. Including obtaining the pending tasks and the pending task priority; according to the calculated maximum resource of the pending task priority determines the pending task; according to the actual data of the history of computing resources to handle the task and the maximum computational resources determine the pending tasks. This scheme in the actual computing resources to determine the processing tasks, the maximum amount of historical data and computing resources will be the priority level corresponding to the reference of pending tasks, and not according to the fixed parameters, for different tasks to be processed, when the priority and the amount of historical data and computing resources are also different, so it is more reasonable to be processed for each task allocation of computing resources, and improve the utilization rate of task throughput and cluster computing resources cluster.

【技術實現步驟摘要】
計算資源分配方法及裝置
本申請涉及計算機
，尤其涉及一種計算資源分配方法及裝置。
技術介紹
隨著網絡技術的飛速發展，越來越多的用戶通過網絡獲取信息，網站需要處理的數據量也越來越大，當今已然進入大數據時代。目前，很多網站的服務端采用大型計算集群來處理數據，如何合理分配計算資源，從而保證集群的計算資源利用率、提升集群的任務吞吐量變得非常重要。一個大型計算集群每天都會運行大量的任務，按照現有的計算資源分配方法，通常會根據固定的參數為每個待處理任務分配計算資源，例如，若計算資源包括中央處理器(CenteralProcessingUnit，CPU)占用量、內存占用量和并發度，那么，為每個待處理任務分配相同的CPU占用量和內存占用量，每個待處理任務的并發度會用對應待處理任務的數據量除以固定值來確定，從而得到每個待處理任務的計算資源。上述方法僅僅根據固定的參數來為每個待處理任務分配計算資源，分配方法過于簡單，容易造成計算資源分配不合理，影響集群的計算資源利用率和集群的任務吞吐量。繼續沿用上例進行說明，在實際應用中，每個待處理任務的數據量差別很大，對于數據量大的待處理任務和數據量小的待處理任務分配相同的CPU占用量和內存占用量，這就會造成數據量大的待處理任務計算資源不足、以及數據量小的待處理任務計算資源閑置，從而無法充分利用集群所有的計算資源，影響集群的計算資源利用率和集群的任務吞吐量。
技術實現思路
本申請實施例提供一種計算資源分配方法及裝置，用以解決相關技術中存在的計算資源分配方法過于簡單導致的計算資源分配不合理，影響集群的計算資源利用率和集群的任務吞吐量的問題。根據本申請實施例，提供一種計算資源分配方法，包括：獲取待處理任務以及所述待處理任務的優先級；根據所述待處理任務的優先級確定所述待處理任務的最大計算資源；根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源。具體的，根據所述待處理任務的優先級確定所述待處理任務的最大計算資源，具體包括：獲取優先級與最大計算資源的對應關系；從所述對應關系中查找包括所述待處理任務的優先級的表項；獲取查找到的表項中包括的最大計算資源，得到所述待處理任務的最大計算資源。可選的，根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源之前，還包括：獲取所述待處理任務在第一歷史時段內的運行次數；確定所述待處理任務在所述第一歷史時段內的運行次數是否超過設定閾值；若所述待處理任務在所述第一歷史時段內的運行次數超過所述設定閾值，則執行根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源的步驟。具體的，獲取所述待處理任務在第一歷史時段內的運行次數，具體包括：計算所述待處理任務的特征信息；以及，計算在所述第一歷史時段內運行過的所有任務的特征信息，得到歷史特征信息集合；統計所述待處理任務的特征信息在所述歷史特征信息集合中出現的次數，得到所述待處理任務在所述第一歷史時段內的運行次數。可選的，還包括：若所述待處理任務在所述第一歷史時段內的運行次數未超過所述設定閾值，則將所述待處理任務的最大計算資源作為所述待處理任務的實際計算資源。具體的，若計算資源包括中央處理器CPU占用量、內存占用量和/或并發度，則根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源，具體包括：獲取第二歷史時段內的CPU利用率，根據所述第二歷史時段內的CPU利用率確定所述待處理任務的候選CPU占用量；獲取所述待處理任務在所述第二歷史時段內的歷史數據量、執行時間和操作類型；根據所述待處理任務在所述第二歷史時段內的歷史數據量、執行時間和操作類型確定所述待處理任務的候選內存占用量；根據所述待處理任務在所述第二歷史時段內的歷史數據量確定所述待處理任務的候選并發度；將所述待處理任務的候選CPU占用量、候選內存占用量和候選并發度分別與所述最大計算資源中的最大CPU占用量、最大內存占用量和最大并發度進行比較；將所述待處理任務的候選CPU占用量與最大CPU占用量中的較小者作為所述待處理任務的實際CPU占用量，將所述待處理任務的候選內存占用量與最大內存占用量中的較小者作為所述待處理任務的實際內存占用量，將所述待處理任務的候選并發度與最大并發度中的較小者作為所述待處理任務的實際并發度；將所述待處理任務的實際CPU占用量、實際內存占用量和/或實際并發度作為所述待處理任務的實際計算資源。具體的，根據所述待處理任務在所述第二歷史時段內的歷史數據量確定所述待處理任務的候選并發度，具體包括：獲取預設的數據量與并發度的函數關系；將所述待處理任務在所述第二歷史時段內的歷史數據量帶入所述函數關系中，得到所述待處理任務的候選并發度。可選的，還包括：將所述待處理任務在所述第二歷史時段內的歷史數據量除以所述第二歷史時段的時長，得到所述待處理任務在所述第二歷史時段內的平均處理速度；確定所述平均處理速度是否小于設定速度；若所述平均處理速度小于所述設定速度，則將所述待處理任務的候選并發度乘以所述平均處理速度的倒數。根據本申請實施例，還提供一種計算資源分配裝置，包括：獲取單元，用于獲取待處理任務以及所述待處理任務的優先級；第一確定單元，用于根據所述待處理任務的優先級確定所述待處理任務的最大計算資源；第二確定單元，用于根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源。具體的，所述第一確定單元，用于根據所述待處理任務的優先級確定所述待處理任務的最大計算資源，具體用于：獲取優先級與最大計算資源的對應關系；從所述對應關系中查找包括所述待處理任務的優先級的表項；獲取查找到的表項中包括的最大計算資源，得到所述待處理任務的最大計算資源。可選的，所述第二確定單元，還用于：獲取所述待處理任務在第一歷史時段內的運行次數；確定所述待處理任務在所述第一歷史時段內的運行次數是否超過設定閾值；若所述待處理任務在所述第一歷史時段內的運行次數超過所述設定閾值，則根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源。具體的，所述第二確定單元，用于獲取所述待處理任務在第一歷史時段內的運行次數，具體用于：計算所述待處理任務的特征信息；以及，計算在所述第一歷史時段內運行過的所有任務的特征信息，得到歷史特征信息集合；統計所述待處理任務的特征信息在所述歷史特征信息集合中出現的次數，得到所述待處理任務在所述第一歷史時段內的運行次數。可選的，所述第二確定單元，還用于：若所述待處理任務在所述第一歷史時段內的運行次數未超過所述設定閾值，則將所述待處理任務的最大計算資源作為所述待處理任務的實際計算資源。具體的，若所述計算資源包括中央處理器CPU占用量、內存占用量和/或并發度，則所述第二確定單元，用于根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源，具體用于：獲取第二歷史時段內的CPU利用率，根據所述第二歷史時段內的CPU利用率確定所述待處理任務的候選CPU占用量；獲取所述待處理任務在所述第二歷史時段內的歷史數據量、執行時間和操作類型；根據所述待處理任務在所述第二歷史時段內的歷史數據量、執行時間和操作類型確定所述待處理任務的候選內存占用本文檔來自技高網...

【技術保護點】
一種計算資源分配方法，其特征在于，包括：獲取待處理任務以及所述待處理任務的優先級；根據所述待處理任務的優先級確定所述待處理任務的最大計算資源；根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源。

【技術特征摘要】
1.一種計算資源分配方法，其特征在于，包括：獲取待處理任務以及所述待處理任務的優先級；根據所述待處理任務的優先級確定所述待處理任務的最大計算資源；根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源。2.如權利要求1所述的方法，其特征在于，根據所述待處理任務的優先級確定所述待處理任務的最大計算資源，具體包括：獲取優先級與最大計算資源的對應關系；從所述對應關系中查找包括所述待處理任務的優先級的表項；獲取查找到的表項中包括的最大計算資源，得到所述待處理任務的最大計算資源。3.如權利要求1所述的方法，其特征在于，根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源之前，還包括：獲取所述待處理任務在第一歷史時段內的運行次數；確定所述待處理任務在所述第一歷史時段內的運行次數是否超過設定閾值；若所述待處理任務在所述第一歷史時段內的運行次數超過所述設定閾值，則執行根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源的步驟。4.如權利要求3所述的方法，其特征在于，獲取所述待處理任務在第一歷史時段內的運行次數，具體包括：計算所述待處理任務的特征信息；以及，計算在所述第一歷史時段內運行過的所有任務的特征信息，得到歷史特征信息集合；統計所述待處理任務的特征信息在所述歷史特征信息集合中出現的次數，得到所述待處理任務在所述第一歷史時段內的運行次數。5.如權利要求3所述的方法，其特征在于，還包括：若所述待處理任務在所述第一歷史時段內的運行次數未超過所述設定閾值，則將所述待處理任務的最大計算資源作為所述待處理任務的實際計算資源。6.如權利要求1-5任一所述的方法，其特征在于，若計算資源包括中央處理器CPU占用量、內存占用量和/或并發度，則根據所述待處理任務的歷史數據量和最大計算資源確定所述待處理任務的實際計算資源，具體包括：獲取第二歷史時段內的CPU利用率，根據所述第二歷史時段內的CPU利用率確定所述待處理任務的候選CPU占用量；獲取所述待處理任務在所述第二歷史時段內的歷史數據量、執行時間和操作類型；根據所述待處理任務在所述第二歷史時段內的歷史數據量、執行時間和操作類型確定所述待處理任務的候選內存占用量；根據所述待處理任務在所述第二歷史時段內的歷史數據量確定所述待處理任務的候選并發度；將所述待處理任務的候選CPU占用量、候選內存占用量和候選并發度分別與所述最大計算資源中的最大CPU占用量、最大內存占用量和最大并發度進行比較；將所述待處理任務的候選CPU占用量與最大CPU占用量中的較小者作為所述待處理任務的實際CPU占用量，將所述待處理任務的候選內存占用量與最大內存占用量中的較小者作為所述待處理任務的實際內存占用量，將所述待處理任務的候選并發度與最大并發度中的較小者作為所述待處理任務的實際并發度；將所述待處理任務的實際CPU占用量、實際內存占用量和/或實際并發度作為所述待處理任務的實際計算資源。7.如權利要求6所述的方法，其特征在于，根據所述待處理任務在所述第二歷史時段內的歷史數據量確定所述待處理任務的候選并發度，具體包括：獲取預設的數據量與并發度的函數關系；將所述待處理任務在所述第二歷史時段內的歷史數據量帶入所述函數關系中，得到所述待處理任務的候選并發度。8.如權利要求7所述的方法，其特征在于，還包括：將所述待處理任務在所述第二歷史時段內的歷史數據量除以所述第二歷史時段的時長，得到所述待處理任務在所述第二歷史時段內的平均處理速度；確定所述平均處理速度是否小于設定速度；若所述平均處理速度小于所述設定速度，則將所述待處理任務的候選并發度乘以所述平均處理速度的倒數。9.一種計算資源分配裝置，其特征在于，包括：獲取單元，用...

【專利技術屬性】
技術研發人員：孫偉光，賈元喬，王偉，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：開曼群島,KY