異構系統、數據處理方法及裝置制造方法及圖紙

本發明專利技術公開了一種異構系統、數據處理方法及裝置，屬于數據處理領域。該方法包括根據數據處理任務從n種計算設備中確定具有執行數據處理任務的能力的計算設備；將數據處理算法分解為至少兩個類型的處理算核并根據處理算核的類型將數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從計算設備中確定出目標計算設備；接收處理結果并組合處理結果得到最終處理結果；解決了在分配數據處理任務時，只向一個類型的計算設備發送數據處理任務，可能會降低異構系統的計算效率的問題；達到了將一個數據處理任務按其對應的處理算法包括的算核進行拆分，由不同類型的計算設備同時進行數據處理，提高異構系統計算能力和計算效率的效果。

【技術實現步驟摘要】
異構系統、數據處理方法及裝置
本專利技術實施例涉及數據處理領域，特別涉及一種異構系統、數據處理方法及裝置。
技術介紹
異構系統是指將使用不同類型的指令集合和體系架構的計算單元組成計算系統的計算方式。常見的異構系統包括中央處理器(CentralProcessingUnit，CPU)類計算設備、圖形處理器(GraphicsProcessingUnit，GPU)類計算設備和現場可編程門陣列(FieldProgrammableGateArray，FPGA)計算設備。每種計算設備在執行數據處理任務時具有各自擅長的類型，當異構系統中的管理設備接收到數據處理任務時，管理設備根據數據處理任務的類型將數據處理任務分配給異構系統中相應的計算設備進行處理。在實現本專利技術的過程中，專利技術人發現現有技術至少存在以下問題：在分配數據處理任務時，只考慮了數據處理任務的任務類型。當計算設備的空心資源較少且被分配了較多的數據處理任務，而其他種類的計算設備具有空閑資源時，降低了異構系統的計算效率。
技術實現思路
為了解決現有技術的問題，本專利技術實施例提供了一種異構系統、數據處理方法及裝置。該技術方案如下：第一方面，提供了一種異構系統，該異構系統包括管理設備和n種計算設備，每個所述計算設備包括至少一種計算卡，n為大于等于2的整數；所述管理設備，用于根據數據處理任務對應的數據處理算法，從所述n種計算設備中確定具有執行所述數據處理任務的能力的計算設備；將所述數據處理算法分解為至少兩個類型的處理算核，并根據所述處理算核的類型將所述數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從所述計算設備中確定出目標計算設備；將所述預定處理任務發送至所述目標計算設備；接收所述目標計算設備發送的處理結果，并組合所述處理結果得到最終處理結果；所述目標計算設備，用于執行所述預定處理任務可選的，所述管理設備，還用于將所述預定處理任務發送至集中式運算集群中的至少一個服務器和/或分布式運算集群中的至少一個普通計算機；其中，所述集中式運算集群中包括至少一種計算卡，所述分布式運算集群中包括至少一種計算卡?？蛇x的，所述至少一種計算卡包括中央處理器CPU類計算卡、圖像處理器GPU類計算卡、現場可編程門陣列FPGA類計算卡和數字信號處理DSP類計算卡中的至少一種。第二方面，提供了一種數據處理方法，應用于包括管理設備和n種計算設備的異構系統中，每個所述計算設備包括至少一種計算卡，n為大于等于2的整數，該方法包括：根據數據處理任務對應的數據處理算法，從所述n種計算設備中確定具有執行所述數據處理任務的能力的計算設備；將所述數據處理算法分解為至少兩個類型的處理算核，并根據所述處理算核的類型將所述數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從所述計算設備中確定出目標計算設備，所述目標計算設備用于執行所述預定處理任務；將所述預定處理任務發送至所述目標計算設備；接收所述目標計算設備發送的處理結果，并組合所述處理結果得到最終處理結果?？蛇x的，所述將所述預定處理任務發送至所述目標計算設備，包括：將所述預定處理任務發送至集中式運算集群中的至少一個服務器和/或分布式運算集群中的至少一個普通計算機；其中，所述集中式運算集群中包括至少一種計算卡，所述分布式運算集群中包括至少一種計算卡?？蛇x的，所述至少一種計算卡包括中央處理器CPU類計算卡、圖像處理器GPU類計算卡、現場可編程門陣列FPGA類計算卡和數字信號處理DSP類計算卡中的至少一種。第三方面，提供了一種數據處理裝置，該裝置包括：第一確定單元，用于根據數據處理任務對應的數據處理算法，從n種計算設備中確定具有執行所述數據處理任務的能力的計算設備，每個所述計算設備包括至少一種計算卡，n為大于等于2的整數；分解單元，用于將所述數據處理算法分解為至少兩個類型的處理算核，并根據所述處理算核的類型將所述數據處理任務劃分為若干個預定處理任務；第二確定單元，用于根據功效比和能效比從所述計算設備中確定出目標計算設備，所述目標計算設備用于執行所述預定處理任務；發送單元，用于將所述預定處理任務發送至所述目標計算設備；組合單元，用于接收所述目標計算設備發送的處理結果，并組合所述處理結果得到最終處理結果。可選的，所述將發送單元，還用于：將所述預定處理任務發送至集中式運算集群中的至少一個服務器和/或分布式運算集群中的至少一個普通計算機；其中，所述集中式運算集群中包括至少一種計算卡，所述分布式運算集群中包括至少一種計算卡?？蛇x的，所述至少一種計算卡包括中央處理器CPU類計算卡、圖像處理器GPU類計算卡、現場可編程門陣列FPGA類計算卡和數字信號處理DSP類計算卡中的至少一種。本專利技術實施例提供的技術方案帶來的有益效果是：通過管理設備根據數據處理任務對應的數據處理算法，從n種計算設備中確定具有執行數據處理任務的能力的計算設備；將數據處理算法分解為至少兩個類型的處理算核，并根據處理算核的類型將數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從計算設備中確定出目標計算設備，由目標計算設備執行預定處理任務；管理設備將預定處理任務發送至目標計算設備；接收目標計算設備發送的處理結果，并組合處理結果得到最終處理結果；解決了在分配數據處理任務時，從數據處理任務的類型的角度將數據處理任務看作一個整體，只向一個類型的計算設備發送數據處理任務，可能會降低異構系統的計算效率的問題；達到了將一個數據處理任務按其對應的處理算法包括的算核進行拆分，由不同種類的計算設備同時進行數據處理，提高異構系統計算能力和計算效率的效果。附圖說明為了更清楚地說明本專利技術實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本專利技術一示例性實施例提供的異構系統的結構示意圖；圖2是本專利技術一個示例性實施例提供的管理設備的結構示意圖；圖3是本專利技術一個示例性實施例提供的集中式運算集群中的計算設備的結構示意圖；圖4是本專利技術一個示例性實施例提供的分布式運算集群中的計算設備的結構示意圖；圖5是本專利技術一示例性實施例示出的一種計算卡的結構示意圖；圖6是根據一示例性實施例示出的一種數據處理方法的流程圖；圖7是根據一示例性實施例示出的一種數據處理裝置的框圖。具體實施方式為使本專利技術的目的、技術方案和優點更加清楚，下面將結合附圖對本專利技術實施方式作進一步地詳細描述。圖1是根據本專利技術一示例性實施例提供的異構系統的結構示意圖。如圖1所示，該異構系統至少包括管理設備100、集中式運算集群200、分布式運算集群300?？蛇x的，管理設備為具有管理計算設備功能的管理服務器。集中式運算集群200中包括若干個計算設備。集中式運算集群200至少包括n種計算卡，每個計算設備包括至少一種計算卡，n為大于等于2的整數。可選的，集中式運算集群中包括的計算設備為服務器。分布式運算集群300中包括若干個計算設備，分布式運算集群200至少包括n種計算卡，每個計算設備包括至少一種計算卡，n為大于等于2的整數。可選的，分布式運算集群中包括的計算設備為普通計算機。需要說明的是，集中式運算集群中計算設備的數量和本文檔來自技高網...

【技術保護點】
一種異構系統，其特征在于，所述異構系統包括管理設備和n種計算設備，每個所述計算設備包括至少一種計算卡，n為大于等于2的整數；所述管理設備，用于根據數據處理任務對應的數據處理算法，從所述n種計算設備中確定具有執行所述數據處理任務的能力的計算設備；將所述數據處理算法分解為至少兩個類型的處理算核，并根據所述處理算核的類型將所述數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從所述計算設備中確定出目標計算設備；將所述預定處理任務發送至所述目標計算設備；接收所述目標計算設備發送的處理結果，并組合所述處理結果得到最終處理結果；所述目標計算設備，用于執行所述預定處理任務。

【技術特征摘要】
1.一種異構系統，其特征在于，所述異構系統包括管理設備和n種計算設備，每個所述計算設備包括至少一種計算卡，n為大于等于2的整數；所述管理設備，用于根據數據處理任務對應的數據處理算法，從所述n種計算設備中確定具有執行所述數據處理任務的能力的計算設備；將所述數據處理算法分解為至少兩個類型的處理算核，并根據所述處理算核的類型將所述數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從所述計算設備中確定出目標計算設備；將所述預定處理任務發送至所述目標計算設備；接收所述目標計算設備發送的處理結果，并組合所述處理結果得到最終處理結果；所述目標計算設備，用于執行所述預定處理任務。2.根據權利要求1所述的異構系統，其特征在于，所述管理設備，還用于將所述預定處理任務發送至集中式運算集群中的至少一個服務器和/或分布式運算集群中的至少一個普通計算機；其中，所述集中式運算集群中包括至少一種計算卡，所述分布式運算集群中包括至少一種計算卡。3.根據權利要求1或2所述的異構系統，其特征在于，所述至少一種計算卡包括中央處理器CPU類計算卡、圖像處理器GPU類計算卡、現場可編程門陣列FPGA類計算卡和數字信號處理DSP類計算卡中的至少一種。4.一種數據處理方法，其特征在于，應用于包括管理設備和n種計算設備的異構系統中，每個所述計算設備包括至少一種計算卡，n為大于等于2的整數，所述方法包括：根據數據處理任務對應的數據處理算法，從所述n種計算設備中確定具有執行所述數據處理任務的能力的計算設備；將所述數據處理算法分解為至少兩個類型的處理算核，并根據所述處理算核的類型將所述數據處理任務劃分為若干個預定處理任務；根據功效比和能效比從所述計算設備中確定出目標計算設備，所述目標計算設備用于執行所述預定處理任務；將所述預定處理任務發送至所述目標計算設備；接收所述目標計算設備發送的處理結...

【專利技術屬性】
技術研發人員：鄧佳偉，尤文杰，張濤，
申請(專利權)人：無錫十月中宸科技有限公司，
類型：發明
國別省市：江蘇,32