用于多核優化循環神經網絡的系統和方法技術方案

公開用于多核優化循環神經網絡(RNN)架構的系統和方法。各種架構根據給定的處理器的多整體式同步并行(MBSP)模型來影響通信操作和同步操作。稱為MBSP?RNN的所得的網絡架構族類似具有相同數量的參數的常規RNN那樣執行，但是在映射至現代通用處理器上時，顯著更為有效。由于在計算效率上大幅提高，因此，對于固定計算預算來說，MBSP?RNN在應用諸如端對端的語音識別上優于RNN。

System and method for multicore optimized recurrent neural network

Systems and methods for multicore optimized recurrent neural network (RNN) architectures are disclosed. Various architectures influence communication and synchronization operations according to the multiple simultaneous synchronous parallel (MBSP) model of a given processor. The network architecture of MBSP group called RNN obtained similar to conventional RNN with the same number of parameters as in execution, but mapped to modern processor is significantly more effective. Because of a substantial increase in computational efficiency, therefore, for a fixed budget, MBSP RNN in applications such as end to end speech recognition is better than RNN.

【技術實現步驟摘要】
用于多核優化循環神經網絡的系統和方法
本專利技術涉及計算機處理，并且更具體地涉及通過降低同步和通信的成本來提高計算效率的系統、設備和方法。
技術介紹
循環神經網絡(RNN)是一種類型的人工神經網絡，其中在給定時間步長中的單元集合的輸出被饋送至在下一時間步長中的相同單元的輸入，由此，賦予網絡隨時間持續的記憶的概念。RNN的計算結構使其本身形成可解決復雜的序列至序列映射問題的網絡，例如要求時間序列數據的變換的問題。例如，語音識別應用中的將記錄的音頻波形從模擬域映射到該音頻數據的文本表示的變換。然而，盡管CMOS技術的發展和RNN架構利用以小獨立塊的方式同時執行大任務中的多個部分的并行性的能力使得算數運算的吞吐量增加，但是常用RNN仍然存在顯著缺點，例如，同步成本和通信成本的提高。詳細來說，由于計算機的基本物理限制，RNN神經元的全部至全部的連接要求相對大量的通信帶寬。另外，每當連接在時間序列中的連續時間步長中建立在計算單元(神經元)之間時，必須執行昂貴的同步操作。RNN內的每個單元讀取所有輸入并且寫入所有輸出，使得當單元映射到計算機中的處理單元中時，數據必須在有限量的時間內跨越多個計算機。然而，單元之間的此類通信減慢連續時間步長中連接的執行，并且增加其中數據可被傳輸的時間間隔，由此無論實際在單元之間移動的數據的量多少，都會致使通信發生時延。因此，將會期望，通過增加從一個神經元的輸出至另一神經元的輸入的通信之間經過的允許時段來放寬現有時延要求，使得多個時間步長可發生在數據通信步驟之間。另外，除了同步操作所造成的時間約束問題之外，現有RNN架構的另一限制基于以下事實：單獨單元必須跨越位于第一地點的計算機來彼此通信。這種通信受到計算機在給定時段內能夠在相鄰的神經元之間通信的最大總數據量的限制。常用設計方法主要集中于改進RNN的算法性質，例如，在較長時間尺度上存儲數據的能力或在多個時間尺度上處理信號的能力。這些方法通常不涉及通過降低同步成本和計算成本來實現RNN計算效率的提高。因此，將會期望有這樣的結構和方法，即，該方法和機構利用簡單、全連接的RNN所提供的精確序列至序列變換，同時減少由RNN執行的同步和通信的量，以在映射到現代通用處理器上時提高計算效率，并且最終提高性能。
技術實現思路
本申請提供了一種通過將循環神經網絡架構映射至計算設備的處理器的微架構來改進計算設備的計算性能的方法、一種循環神經網絡架構、以及一種在計算設備的處理器的微架構上操作循環神經網絡架構而改進計算設備的計算性能的方法。根據本申請的一方面，提供了一種通過將循環神經網絡架構映射至計算設備的處理器的微架構來改進計算設備的計算性能的方法，包括：基于處理器的微架構的描述，獲得與存儲器的級相關聯的值；以及對于循環神經網絡架構的層級中的最低級至最高級，每個級與處理器的微架構相關聯并通過存儲器容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩個來描述；將神經元分組成模塊，每個模塊表示循環神經網絡構架內的循環神經網絡層中的邏輯單元；以及將連接布置在模塊之間，使得模塊滿足循環神經網絡架構的預定條件，循環神經網絡架構的預定條件與存儲器容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩個有關。根據本申請的另一方面，提供了一種循環神經網絡架構，該循環神經網絡架構設計用于在計算設備處理器微架構上操作，以改進計算設備的計算性能，循環神經網絡架構包括：神經元；包括神經元的模塊，模塊表示邏輯單元，并且根據處理器微架構的分級結構的級來布置以模擬包括處理器的單獨計算資源的分級結構，使得分級結構中的每級與處理器存儲器中的至少一級相關聯并且包括第一循環神經網絡層和第二循環神經網絡層，分級結構中的每級是用存儲容量、處理器核心數、存儲器帶寬、計算帶寬和存儲器時延中的至少兩個來描述的；以及模塊間的雙向連接，模塊間的雙向連接使得第一循環神經網絡層與第二循環神經網絡層之間能夠通信，以滿足循環神經網絡架構的預定條件，循環神經網絡架構的預定條件與存儲容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩個有關。根據本申請的再一方面，提供了一種在計算設備的處理器的微架構上操作循環神經網絡架構而改進計算設備的計算性能的方法，包括：基于以處理器的微架構的描述為基礎的與存儲器級相關聯的值，對于循環神經網絡架構的分級結構的最低至最高級來說，每個級與處理器微架構相關聯并用存儲容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩者描述；將神經元分組成模塊，每個模塊表示循環神經網絡構架內的循環神經網絡層中的邏輯單元；以及將連接布置在模塊之間，使得模塊滿足循環神經網絡架構的預定條件，循環神經網絡架構的預定條件是與存儲容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩者有關。附圖說明將參考本專利技術的實施方式，它們的示例可在附圖中示出。這些附圖旨在是說明性的而非限制性的。雖然本專利技術大體上在這些實施方式的上下文中描述，但應理解，本專利技術的范圍并不旨在限于這些特定實施方式。附圖中的元件可能不按比例繪制。圖1描繪根據本公開多種實施方式的包括RNN以提高計算效率的計算系統的簡化框圖。圖2A示出常用的、全連接的基線RNN層架構。圖2B示出在時間序列中使用快速模塊和慢速模塊的常用RNN層架構中的模塊之間的連接性。圖2C描繪多整體式同步并行(MBSP)機器模型的層級中的單個級。圖2D是最低級的層級MBSP模塊的示例。圖3A示出根據本公開的多種實施方式的在RNN的層級中的第二級中的兩個MBSP模塊之間的互連。圖3B示出根據本公開的多種實施方式的用于示例性處理器的MBSP機器模型層級。圖3C是根據本公開的多種實施方式的用于形成有效RNN層架構的過程的流程圖。圖3D是根據本公開的多種實施方式的用于平衡RNN的預定條件的過程的流程圖。圖4示出根據本公開的多種實施方式的在特定的處理器上執行的RNN中的模塊的層級的級的概念。圖5示出根據本公開的多種實施方式的分成快速模塊和慢速模塊的RNN。圖6示出根據本公開的多種實施方式的連接性的并行前綴模式。圖7示出根據本公開的多種實施方式的允許全局通信同時使時延和帶寬要求最小化的另一方法。具體實施方式在以下描述中，出于解釋目的，闡明具體細節以便提供本專利技術的理解。然而，將對本領域的技術人員顯而易見的是，可在沒有這些細節的情況下實踐本專利技術。本領域的技術人員將認識到，下文描述的本專利技術的實施方式可以以各種方式并用各種手段執行。本領域的技術人員還將認識到，另外的修改、應用和實施方式只要是本專利技術可提供效用的另外領域，便處于本專利技術的范圍內。因此，下述實施方式是本專利技術的具體實施方式的說明，并且意圖避免使本專利技術不清楚。在本說明書中對“一個實施方式”或“實施方式”的提及表示結合實施方式所描述的具體特征、結構、特性或功能包括在本專利技術的至少一個實施方式中。短語“在一個實施方式中”、“在實施方式中”等在本說明書的各個地方的出現不必指代相同的實施方式。此外，附圖中的部件之間或方法步驟之間的連接不限于直接受影響的連接。相反，在不背離本專利技術的教導的情況下，附圖中所示的在部件之間或方法步驟之間的連接可以通過向其添加中間部件或中間方法步驟進行修改或以其它方式改變。在本文件中，術語“架構”和“網絡架構”是指在RNN層中的神經元之間的連接性的特本文檔來自技高網...

【技術保護點】
一種通過將循環神經網絡架構映射至計算設備的處理器的微架構來改進所述計算設備的計算性能的方法，所述方法包括：基于所述處理器的微架構的描述，獲得與存儲器的級相關聯的值；以及對于所述循環神經網絡架構的層級中的最低級至最高級，每個級與所述處理器的微架構相關聯并通過存儲器容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩個來描述；將神經元分組成模塊，每個模塊表示所述循環神經網絡構架內的循環神經網絡層中的邏輯單元；以及將連接布置在所述模塊之間，使得所述模塊滿足所述循環神經網絡架構的預定條件，所述循環神經網絡架構的所述預定條件與存儲器容量、處理器核心數、帶寬、計算帶寬和時延中的所述至少兩個有關。

【技術特征摘要】
2015.12.11 US 62/266,515;2016.04.05 US 15/091,4131.一種通過將循環神經網絡架構映射至計算設備的處理器的微架構來改進所述計算設備的計算性能的方法，所述方法包括：基于所述處理器的微架構的描述，獲得與存儲器的級相關聯的值；以及對于所述循環神經網絡架構的層級中的最低級至最高級，每個級與所述處理器的微架構相關聯并通過存儲器容量、處理器核心數、帶寬、計算帶寬和時延中的至少兩個來描述；將神經元分組成模塊，每個模塊表示所述循環神經網絡構架內的循環神經網絡層中的邏輯單元；以及將連接布置在所述模塊之間，使得所述模塊滿足所述循環神經網絡架構的預定條件，所述循環神經網絡架構的所述預定條件與存儲器容量、處理器核心數、帶寬、計算帶寬和時延中的所述至少兩個有關。2.根據權利1所述的方法，其中，布置連接包括刪減在所述模塊之間的雙向連接以平衡所述預定條件。3.根據權利1所述的方法，其中，對于處理器存儲器的每個級，所述預定條件包括表示神經元的參數適配所述處理器存儲器的容量。4.根據權利1所述的方法，其中，對于處理器存儲器的每個級，所述預定條件包括與模塊間的連接有關的同步成本近似等于對所述神經元進行評估的計算成本。5.根據權利1所述的方法，其中，對于處理器存儲器的每個級，所述預定條件包括與模塊內的連接和模塊間的連接有關的帶寬成本和時延成本中的至少一個近似等于對所述神經元進行評估的計算成本。6.根據權利1所述的方法，其中，布置連接包括通過在下一時間步長上將一個模塊的輸出連接至其它模塊的輸入的子集來形成稀疏連接，以減小通信帶寬，使得用于加載在芯片上存儲器上的所述模塊的所有權重在所有時間步長上可被重新使用。7.根據權利1所述的方法，還包括隨時間延遲更新模塊之間的連接，其中，所述時間延遲增加神經元必須執行同步以改善模塊之間的通信帶寬和同步中的至少一個的時間。8.根據權利1所述的方法，還包括，在相同層內：將時間序列輸入劃分成獨立連續的時間分段，所述獨立連續的時間分段通過所述循環神經網絡的第一部分處理，以對每個時間分段生成中間結果；在所述中間結果上運行所述循環神經網絡的第二部分；以及使用所處理的中間結果在輸入數據子分部上運行所述循環神經網絡的第三部分。9.根據權利1所述的方法，還包括：將位于第一循環神經網絡層中的快速模塊中的單獨神經元連接至位于第二循環神經網絡層中的慢速模塊中的單獨神經元；將各層中的每個模塊連接至該層中的其它模塊；以及經由模塊間的連接將所述快速模塊連接至所述慢速模塊。10.一種循環神經網絡架構，所述循環神經網絡架構設計用于在計算設備處理器微架構上操作，以改進所述計算設備的計算性能，所述循環神經網絡架構包括：神經元；包括所述神經元的模塊，所述模塊表示邏輯單元，并且根據處理器微架構的分級結構的級來布置以模擬包括處理器的單獨計算資源的分級結構，使...

【專利技術屬性】
技術研發人員：格雷戈里·迪莫斯，阿維尼·漢奈，布賴恩·卡坦扎羅，達理奧·阿默迪，艾瑞克·艾樂森，耶西·恩格爾，舒哈布拉塔·森古普帕，
申請(專利權)人：百度美國有限責任公司，
類型：發明
國別省市：美國,US