虛擬化環境中的智能GPU調度制造技術

用于在虛擬化環境中調度針對圖形處理單元(GPU)的工作負荷提交的技術包括在計算設備中實施的GPU調度器。虛擬化環境包括被配置有本地圖形驅動器的多個不同的虛擬機。GPU調度器從不同的虛擬機接收GPU命令、動態地選擇調度策略、并且調度GPU命令以用于由GPU處理。

【技術實現步驟摘要】
【國外來華專利技術】虛擬化環境中的智能GPU調度
技術介紹
在計算設備中，圖形處理單元(GPU)可以通過提供可以快速地執行數學運算的電子電路來對中央處理單元(CPU)進行補充。為此，GPU利用了大量的并行性和許多并發線程。GPU的能力使得其有助于加速對視覺媒體和并行計算任務的處理。例如，GPU可以用于視頻編碼/解碼、二維和三維游戲中的圖形渲染、以及其他通用計算應用。如果可以克服在虛擬化GPU時涉及的復雜性，則可以將虛擬化技術應用于許多不同類型的計算平臺上的圖形處理單元。附圖說明在本文中所描述的概念是作為示例而不是限制在附圖中示出的。為了圖示的簡單和清楚，在附圖中所描繪的元素不一定是按比例繪制的。在認為合適的地方，已經在附圖之間重復了附圖標記以指示相對應的或相似的元素。圖1是計算系統的至少一個實施例的簡化的框圖，該計算系統包括配置有如在本文中所公開的智能GPU調度的至少一個計算設備；圖2是圖1的服務器計算設備的環境的至少一個實施例的簡化的框圖；圖3是圖2的GPU調度器的環境的至少一個實施例的簡化的框圖；圖4是針對智能GPU調度的方法的至少一個實施例的簡化的流程圖，該方法可以由圖1的計算設備中的一個或多個計算設備來執行；并且圖5是示出了針對圖1的計算設備的至少一個實施例的用例的簡化的時序圖。具體實施方式盡管本公開的概念可以受到各種修改和可替代的形式的影響，但是其具體的實施例已經在附圖中作為示例示出，并且將在本文中詳細地描述。然而，應當理解的是，意圖不在于將本公開的概念限于所公開的特定的形式，而相反地，目的是覆蓋與本公開和所附權利要求一致的全部修改、等價物、和替代物。在說明書中對“一個實施例”、“實施例”、“示例性實施例”等的引用指示所描述的實施例可以包括特定的特征、結構、或特性，但每個實施例可以或不一定包括該特定的特征、結構、或特性。此外，這樣的短語非必須指的是相同的實施例。此外，當結合實施例來描述特定的特征、結構、或特性時，所主張的是結合其他實施例(無論其是否進行了明確地描述)實現這樣的特征、結構、或特性也在本領域技術人員的知識范圍內。額外地，應當理解的是，以“至少一個A、B和C”的形式包括在列表中的項目可以意味著(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或者(A、B和C)。類似地，以“A、B或C中的至少一個”的形式列出的項目可以意味著(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或者(A、B和C)。在一些情況下，可以以硬件、固件、軟件或其任何組合來實現所公開的實施例。此外，還可以將所公開的實施例實現為由一個或多個瞬時性或者非瞬時性機器可讀(例如，計算機可讀)存儲介質所實行或存儲在其上的指令，所述指令可以由一個或多個處理器來讀取或執行。機器可讀存儲介質可以被實施為用于以能夠由機器讀取的形式存儲或發送信息的任何存儲設備、機制、或其他物理結構(例如，易失性或非易失性存儲器、媒體盤、或其他介質設備)。在附圖中，可以以具體的布置和/或順序來示出一些結構或方法特征。然而，應當理解的是，這樣的具體的布置和/或順序不是必需的。相反，在一些實施例中，可以以與在說明性附圖中所示出的不同的方式和/或順序來布置這些特征。額外地，將結構或方法特征包含在特定的附圖中不意味著暗示在所有實施例中都需要這樣的特征，相反，在一些實施例中，這樣的特征可以不被包括，或者可以與其他特征進行組合。現在參考圖1，計算系統100的實施例包括客戶端計算設備110和服務器計算設備142。客戶端計算設備110和服務器計算設備142通信地耦合至一個或多個網絡140。客戶端計算設備110和服務器計算設備142中的一個或兩者可以被配置為利用在本文中所公開的技術。由此，客戶端計算設備110和服務器計算設備142中的一個或兩者可以裝備有圖形處理單元126、152和虛擬化服務132、162，該虛擬化服務132、162可以提供包括GPU調度器模塊138、176的GPU虛擬化。為了討論的方便，可以在本文中使用“圖形處理單元”或“GPU”來指圖形處理單元、圖形加速器、或其他類型的專用電子電路或設備，例如通用GPU(GPGPU)、視覺處理單元、加速處理單元(APU)、現場可編程門陣列(FPGA)、或者可以由計算設備110、142使用以加速圖形任務和/或將受益于經加速的處理的其他計算操作的任何其他設備或電路。說明性的虛擬化服務132、162被配置成針對GPU126、152建立虛擬化環境，其包括多個不同的虛擬機(VM)，使得本地圖形驅動器在每一VM中運行。說明性的GPU調度器模塊138、176處理對由不同的VM發出以用于在GPU硬件(GPU126、GPU152)上執行的某些類型的GPU命令的調度。例如，GPU調度器模塊138、176可以處理對特權命令的調度，而VM中的本機圖形驅動器可以直接訪問GPU126、152的性能關鍵資源，例如幀緩沖器和命令緩沖器。如下文更加詳細地描述的，GPU調度器模塊138、176基于GPU命令的一個或多個屬性、GPU命令緩沖器的依賴性、和/或其他決策標準來從多個可能的調度策略中動態地選擇調度策略，并根據該動態地選擇的調度策略來調度GPU命令。以該方式，GPU調度器模塊138、176可以智能地改變適用于VM和/或GPU命令中的一個或多個的調度策略，以達到更高的效率或出于其他原因。作為示例，當不同的VM在運行不同類型的GPU工作負荷時(例如，一個VM上是3D任務，而另一VM上是視頻編碼任務)，GPU調度器模塊138、176可以實現按緩沖器的調度策略(例如，針對環形緩沖器的“每環形”的策略)而不是群調度策略，以提高性能或出于其他原因。如本文中所使用的，“工作負荷”可以指的是可以包括一個或多個GPU命令的一組GPU命令等。此外，GPU調度器模塊138、176可以根據需要而切換至群調度策略以便提供跨緩沖器的同步，從而避免鎖死的情況，或出于其他原因。現在更加詳細地參考客戶端計算設備110，說明性的客戶端計算設備110包括中央處理單元(CPU)112和圖形處理單元126。CPU通常通過CPU存儲器116與GPU存儲器128之間的直接存儲器訪問來向GPU126提交包括GPU命令的工作負荷。客戶端計算設備110可以被實施為用于執行在本文中所描述的功能的任何類型的設備。例如，客戶端計算設備110可以被實施為以下設備而不限于以下設備：智能電話、平板計算機、可穿戴計算設備、膝上型計算機、筆記本計算機、移動計算設備、蜂窩電話、手持設備、消息傳送設備、車載遠程信息處理設備、服務器計算機、工作站、分布式計算系統、多處理器系統、消費型電子設備、和/或被配置為執行在本文中所描述的功能的任何其他計算設備。如在圖1中所示出的，客戶端計算設備110還包括輸入/輸出子系統114、數據存儲設備118、顯示器120、通信子系統122、用戶接口子系統124、操作系統130、虛擬化服務132、圖形驅動器134、以及GPU調度器模塊138。客戶端計算設備110還包括GPU126和GPU存儲器128。在其他實施例中，客戶端計算設備110可以包括其他的或額外的組件，例如通常在移動的和/或靜止的計算機中可以找到的那些組件(例如，各種傳感器和輸入/輸出設備)。額外地，在一些實施例中，說本文檔來自技高網...

【技術保護點】
一種用于調度針對虛擬化的圖形處理單元(GPU)的工作負荷提交的計算設備，所述計算設備包括：用于建立包括多個虛擬機的虛擬化環境的虛擬化服務，其中，所述虛擬機中的每個虛擬機包括用于與所述GPU進行通信的圖形驅動器以及用于存儲GPU命令的多個命令緩沖器；以及GPU調度器模塊，其用于：評估所有虛擬機的所有命令緩沖器中的GPU命令；響應于對所述GPU命令的評估的輸出，從多個不同的調度策略中動態地選擇調度策略；以及根據動態地選擇的調度策略來調度所述GPU命令中的至少一個GPU命令，以用于由所述GPU進行處理。

【技術特征摘要】
【國外來華專利技術】1.一種用于調度針對虛擬化的圖形處理單元(GPU)的工作負荷提交的計算設備，所述計算設備包括：用于建立包括多個虛擬機的虛擬化環境的虛擬化服務，其中，所述虛擬機中的每個虛擬機包括用于與所述GPU進行通信的圖形驅動器以及用于存儲GPU命令的多個命令緩沖器；以及GPU調度器模塊，其用于：評估所有虛擬機的所有命令緩沖器中的GPU命令；響應于對所述GPU命令的評估的輸出，從多個不同的調度策略中動態地選擇調度策略；以及根據動態地選擇的調度策略來調度所述GPU命令中的至少一個GPU命令，以用于由所述GPU進行處理。2.根據權利要求1所述的計算設備，包括命令掃描器模塊，所述命令掃描器模塊用于：掃描虛擬機的所述所有命令緩沖器中的GPU命令、產生指示在同一虛擬機的不同命令緩沖器中的GPU命令之間的跨緩沖器依賴性的數據、并且基于指示跨緩沖器依賴性的所述數據而動態地選擇所述調度策略。3.根據權利要求1或權利要求2所述的計算設備，包括命令掃描器模塊，所述命令掃描器模塊用于：掃描虛擬機的所述所有命令緩沖器中的GPU命令、確定針對所述GPU命令中的每個GPU命令的命令類型、并且基于GPU命令的命令類型而動態地選擇針對GPU命令的所述調度策略。4.根據權利要求1或權利要求2所述的計算設備，其中，所述GPU調度器模塊用于：根據動態地選擇的調度策略來調度所述虛擬機中一個虛擬機的GPU命令，并且根據不同的調度策略來調度所述虛擬機中的另一個虛擬機的GPU命令。5.根據權利要求1或權利要求2所述的計算設備，其中，所述GPU調度器模塊用于：響應于檢測到同一虛擬機的不同的命令緩沖器中的兩個GPU命令之間的跨緩沖器依賴性，而將所述調度策略從每環形的調度策略切換至群調度策略。6.根據權利要求5所述的計算設備，其中，所述GPU調度器模塊用于：評估不同的虛擬機的GPU命令，并且根據不是群調度策略的調度策略來調度所述不同的虛擬機的GPU命令。7.根據權利要求1、2或6中任何一項所述的計算設備，其中，所述命令緩沖器中的每個命令緩沖器被實施為環形緩沖器，并且所述GPU調度器模塊用于：針對跨環形同步基元來對虛擬機的GPU命令進行掃描，并且基于存在或不存在跨環形的同步基元來選擇針對所述虛擬機的GPU命令的所述調度策略。8.根據權利要求1、2或6中任何一項所述的計算設備，其中，所述GPU調度器模塊用于：基于對所述GPU命令的所述評估的所述輸出，而動態地選擇針對不同的虛擬機的不同的調度策略。9.根據權利要求1、2或6中任何一項所述的計算設備，包括針對所述虛擬機中的每個虛擬機的命令掃描器模塊，每個命令掃描器模塊用于創建包括指示所述虛擬機的所述命令緩沖器之間的依賴性的數據的命令數據庫。10.根據權利要求1、2或6中任何一項所述的計算設備，包括仲裁器，所述仲裁器用于：評估所述所有虛擬機的所述命令數據庫，并且基于對所述所有命令數據庫的評估，而選擇針對所述虛擬機中的至少一個虛擬機的所述調度策略。11.根據權利要求1、2或6中任何一項所述的計算設備，其中，所述GPU調度器模塊用于：掃描虛擬機的所述所有命令緩沖器中的GPU命令、檢測同一虛擬機的不同的命令緩沖器中的GPU命令之間的跨緩沖器依賴性、確定在一段時間內跨緩沖器依賴性出現的頻率、并且基于所述跨緩沖器依賴性出現的所述頻率來改變所述調度策略。12.根據權利要求1、2或6中任何一項所述的計算設備，其中，所述GPU...

【專利技術屬性】
技術研發人員：田坤，Z·呂，Y·Z·東，
申請(專利權)人：英特爾公司，
類型：發明
國別省市：美國,US