訓練預測模型以及預測資源使用量的方法及裝置制造方法及圖紙

本說明書實施例提供一種訓練預測模型，以及使用該模型預測資源使用量的方法。預測模型的過程可以包括，獲取服務器集群中目標服務器在歷史時段中對處理資源的目標使用量，以及該目標服務器中的多個數據副本對應的多條流量數據，其中任意數據副本對應的流量數據包括，對應租戶在所述歷史時段中訪問與該數據副本對應的數據而產生的流量信息。將各條流量數據輸入預測模型，得到各個數據副本對所述處理資源的預測使用量；將各個預測使用量之和，作為預測總使用量。根據目標使用量和所述預測總使用量，確定預測損失，以預測損失最小化為目標，更新所述預測模型。更新所述預測模型。更新所述預測模型。

【技術實現步驟摘要】
訓練預測模型以及預測資源使用量的方法及裝置


[0001]本說明書一個或多個實施例涉及數據庫和人工智能，尤其涉及一種訓練預測模型以及預測資源使用量的方法及裝置。

技術介紹

[0002]目前多種主流的數據庫都采用分布式存儲的方式，將租戶數據存儲于集群中。租戶數據可以包括該租戶中大量用戶的個人數據、隱私數據等，這些數據可以以數據表的形式，存儲于數據庫集群中。
[0003]為了更高的可靠性和可用性，以及容災的考慮，一些數據庫開始支持多副本的部署方案。也就是，每個數據表的分區都包括多個副本，不同副本分布在集群的不同服務器中，從而能夠容許單機故障、數據中心故障以及城市級別的故障。例如，在OceanBase(OB)數據庫中，支持一主多備共5種副本的部署方式，除主副本外，備副本包括以下副本類型：全能型副本、日志型副本、只讀型副本、備份型副本。
[0004]數據庫系統中多類型的副本部署結構，在實現數據庫高可用的情況下也對副本類型的運維帶來了挑戰。例如，在OceanBase(OB)數據庫運維場景中，缺乏有效的方式獲取租戶副本粒度的處理資源使用指標，例如CPU使用指標cpu_uti l，而這些使用指標的精準刻畫，對于擴縮容策略、限流自適應、分時調度等實現都是至關重要的基石。因此，迫切需要改進的技術手段，有效而精準地刻畫租戶副本粒度的處理資源使用指標，從而促進數據庫的部署和性能提升。

技術實現思路

[0005]鑒于上述問題，本說明書提供了一種訓練預測模型，以及通過該模型預測資源使用量的方法，通過擬合租戶對其數據副本的訪問流量與資源使用量之間的關系，有效而精準地刻畫租戶副本粒度的處理資源使用指標，促進數據庫的資源部署和性能提升。
[0006]根據第一方面，提供一種訓練預測模型的方法，包括：
[0007]獲取服務器集群中目標服務器在歷史時段中對處理資源的目標使用量，以及多個數據副本對應的多條流量數據，所述多個數據副本是所述目標服務器中存儲的租戶數據副本；其中任意數據副本對應的流量數據包括，對應租戶在所述歷史時段中訪問與該數據副本對應的數據而產生的流量信息；
[0008]將各條流量數據輸入預測模型，得到各個數據副本對所述處理資源的預測使用量；
[0009]將各個預測使用量之和，作為預測總使用量，根據所述目標使用量和所述預測總使用量，確定預測損失；
[0010]以預測損失最小化為目標，更新所述預測模型。
[0011]典型的，上述處理資源為CPU資源。
[0012]根據一種實施方式，預測模型可以包括，第一模型和第二模型；所述多個數據副本
包括第一數據副本。相應的，將各條流量數據輸入預測模型，得到各個數據副本對所述處理資源的預測使用量，具體包括：將所述第一數據副本對應的第一流量數據輸入所述預測模型，通過所述第一模型預測，處理所述第一數據副本自身導致的對所述處理資源的第一使用量，通過所述第二模型預測，與所述第一數據副本相關的服務器間通信導致的對所述處理資源的第二使用量；將所述第一使用量和第二使用量之和，確定為所述第一數據副本的預測使用量。
[0013]進一步的，在一個實施例中，第一模型可以包括與預設的多個租戶組對應的多個模型版本；在這樣的情況下，將第一數據副本對應的第一流量數據輸入所述預測模型，具體包括：確定所述第一數據副本所屬的第一租戶在所述預設的多個租戶組中所歸屬的目標租戶組；將所述第一流量數據輸入目標版本的第一模型，所述目標版本是所述多個模型版本中與所述目標租戶組對應的模型版本。
[0014]在一個示例中，上述第一流量數據可以包括：每秒查詢數QPS，每秒事務數TPS，邏輯讀，IO通信量。
[0015]根據一個實施例，第一流量數據至少包括：第一數據副本對應的主副本的第一流量指標，并且所述第二模型包括與多個副本類型相對應的多個子模型。在這樣的情況下，將第一數據副本對應的第一流量數據輸入所述預測模型，具體包括：將所述第一流量指標輸入目標子模型，所述目標子模型是所述多個子模型中與所述第一數據副本的副本類型對應的子模型。
[0016]根據一個示例，上述多個副本類型可以包括：主副本，只讀副本，日志副本。
[0017]根據一個具體示例，上述與主副本類型對應的主副本子模型具有與預設的多個租戶組對應的多個子模型版本；相應的，將第一流量指標輸入目標子模型，包括：當所述目標子模型為主副本子模型時，確定所述第一數據副本所屬的第一租戶在所述預設的多個租戶組中所歸屬的目標租戶組；將所述第一流量指標輸入目標子模型版本的主副本子模型，所述目標子模型版本是所述多個子模型版本中與所述目標租戶組對應的版本。
[0018]根據第二方面，提供了一種預測服務器的資源使用量的方法，包括：
[0019]獲取根據第一方面的方法訓練得到的預測模型；
[0020]獲取待評估的目標數據副本對應的目標流量數據，其中，所述目標數據副本存儲于服務器集群中的某一服務器中，所述目標流量數據包括，目標租戶在待評估的當前時段中訪問與該目標數據副本對應的數據而產生的流量信息；
[0021]將所述目標流量數據輸入所述預測模型，得到所述目標數據副本對所述某一服務器的處理資源的預測使用量。
[0022]根據第三方面，提供了一種訓練預測模型的裝置，包括：
[0023]數據獲取單元，配置為獲取服務器集群中目標服務器在歷史時段中對處理資源的目標使用量，以及多個數據副本對應的多條流量數據，所述多個數據副本是所述目標服務器中存儲的租戶數據副本；其中任意數據副本對應的流量數據包括，對應租戶在所述歷史時段中訪問與該數據副本對應的數據而產生的流量信息；
[0024]預測輸入單元，配置為將各條流量數據輸入預測模型，得到各個數據副本對所述處理資源的預測使用量；
[0025]損失確定單元，配置為將各個預測使用量之和，作為預測總使用量，根據所述目標
使用量和所述預測總使用量，確定預測損失；
[0026]模型更新單元，配置為以預測損失最小化為目標，更新所述預測模型。
[0027]根據第四方面，提供了一種預測服務器的資源使用量的裝置，包括：
[0028]模型獲取單元，配置為獲取根據第三方面的裝置訓練得到的預測模型；
[0029]數據獲取單元，配置為獲取待評估的目標數據副本對應的目標流量數據，其中，所述目標數據副本存儲于服務器集群中的某一服務器中，所述目標流量數據包括，目標租戶在待評估的當前時段中訪問與該目標數據副本對應的數據而產生的流量信息；
[0030]預測單元，配置為將所述目標流量數據輸入所述預測模型，得到所述目標數據副本對所述某一服務器的處理資源的預測使用量。
[0031]根據第五方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，當所述計算機程序在計算機中執行時，令計算機執行第一方面或第二方面所述的方法。
[0032]根據第六方面，提供了一種計算設備，包括存儲器和處理器，其特征在于，所述存儲器中存儲有可執行代碼本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種訓練預測模型的方法，包括：獲取服務器集群中目標服務器在歷史時段中對處理資源的目標使用量，以及多個數據副本對應的多條流量數據，所述多個數據副本是所述目標服務器中存儲的租戶數據副本；其中任意數據副本對應的流量數據包括，對應租戶在所述歷史時段中訪問與該數據副本對應的數據而產生的流量信息；將各條流量數據輸入預測模型，得到各個數據副本對所述處理資源的預測使用量；將各個預測使用量之和，作為預測總使用量，根據所述目標使用量和所述預測總使用量，確定預測損失；以預測損失最小化為目標，更新所述預測模型。2.根據權利要求1所述的方法，其中，所述處理資源為CPU資源。3.根據權利要求1所述的方法，其中，所述預測模型包括，第一模型和第二模型；所述多個數據副本包括第一數據副本；將各條流量數據輸入預測模型，得到各個數據副本對所述處理資源的預測使用量，包括：將所述第一數據副本對應的第一流量數據輸入所述預測模型，通過所述第一模型預測，處理所述第一數據副本自身導致的對所述處理資源的第一使用量，通過所述第二模型預測，與所述第一數據副本相關的服務器間通信導致的對所述處理資源的第二使用量；將所述第一使用量和第二使用量之和，確定為所述第一數據副本的預測使用量。4.根據權利要求3所述的方法，其中，所述第一模型包括與預設的多個租戶組對應的多個模型版本；將所述第一數據副本對應的第一流量數據輸入所述預測模型，包括：確定所述第一數據副本所屬的第一租戶在所述預設的多個租戶組中所歸屬的目標租戶組；將所述第一流量數據輸入目標版本的第一模型，所述目標版本是所述多個模型版本中與所述目標租戶組對應的模型版本。5.根據權利要求4所述的方法，其中，所述第一流量數據包括：每秒查詢數QPS，每秒事務數TPS，邏輯讀，IO通信量。6.根據權利要求3所述的方法，其中，所述第一流量數據包括：第一數據副本對應的主副本的第一流量指標；所述第二模型包括與多個副本類型相對應的多個子模型；所述將所述第一數據副本對應的第一流量數據輸入所述預測模型，包括：將所述第一流量指標輸入目標子模型，所述目標子模型是所述多個子模型中與所述第一數據副本的副本類型對應的子模型。7.根據權利要求6所述的方法，其中，所述多個副本類型包括：主副本，只讀副本，日志副本。8.根據權利要求6所述的方法，其中，所述多個子模型包括與主副本類型對應的主副本子模型，所述主副本子模型具有與預設的多個租戶組對應的多個子模型版本；將所述第一流量指標輸入目標子模型，包括：當所述目標子模型為主副本子模型時，確定所述第一數據副本所屬的第一租戶在所述預設的多個租戶組中所歸屬的目標租戶組；
將所述第一流量指標輸入目標子模型版本的主副本子模型，所述目標子模型版本是所述多個子模型版本中與所述目標租戶組對應的版本。9.一種預測服務器的資源使用量的方法，包括：獲取根據權利要求1的方法訓練得到的預測模型；獲取待評估的目標數據副本對應的目標流量數據，其中，所述目標數據副本存儲于服務器集群中的某一服務器中，所述目標流量數據包括，目標租戶在待評估的當前時段中訪問與該目標數據副本對應的數據而產生的流量信息；將所述目標流量數據輸入所述預測模型，得到所述目標數據副本對所述某一服務器的處理資源的預測使用量。10.根據權利要求9所述的方法，其中，所述處理資源為CPU資源。11.根據權利要求9所述的方法，其中，所述預測模型包括，第一...

【專利技術屬性】
技術研發人員：王煥，蔣煒，王昕喆，伍孝林，朱詩逸，李建國，李寧，
申請(專利權)人：支付寶杭州信息技術有限公司，
類型：發明
國別省市：