信號處理的系統和方法技術方案

本申請為信號處理的系統和方法，實施例公開了一種信號處理方法以及裝置，包括：輸入模塊，用于接收輸入信號矩陣和權重矩陣；第一交織模塊，用于交織輸入信號矩陣，得到交織信號矩陣；第一分塊模塊，用于分塊該交織信號矩陣；第二交織模塊，用于交織權重矩陣，得到交織權重矩陣；處理模塊，用于處理該交織權重矩陣，得到多個稀疏化分塊權重矩陣；矩陣乘模塊，用于實現多個稀疏化分塊權重矩陣與多個分塊信號矩陣對應矩陣乘，得到多個矩陣乘運算結果；輸出模塊，用于輸出信號處理結果。該方法及相關裝置解決了關鍵權重分布不均勻導致的負載不均衡問題，提高了神經網絡的運算效率。提高了神經網絡的運算效率。提高了神經網絡的運算效率。

System and method of signal processing

【技術實現步驟摘要】
信號處理的系統和方法
[0001]本申請是分案申請，原申請的申請號是201710525239.4，原申請日是2017年06月30日，原申請的全部內容通過引用結合在本申請中。


[0002]本申請涉及人工智能領域，尤其涉及信號處理的系統和方法。

技術介紹

[0003]人工神經網絡(artificial neural networks,ANN)，也簡稱為神經網絡(neural network,NN)，是一種模仿動物神經網絡行為特征進行信息處理的網絡結構。該結構由大量的節點(或稱神經元)相互聯接構成，基于特定運算模型通過對輸入信息進行學習和訓練達到處理信息的目的。一個神經網絡包括輸入層、隱藏層及輸出層，輸入層負責接收輸入信號，輸出層負責輸出神經網絡的計算結果，隱藏層負責學習、訓練等計算過程，是網絡的記憶單元，隱藏層的記憶功能由權重矩陣來表征。
[0004]循環神經網絡(recurrent neural network,RNN)是一種神經網絡。循環神經網絡的隱藏層存在一定的循環反饋機制，神經元彼此之間相互連接，且對歷史輸入信息具有記憶功能。通常每個隱藏層的神經元個數數以千計，其權重矩陣的大小遠遠超出神經網絡硬件處理器的承載值，因此權重矩陣存儲在外部存儲器中，而從片外讀取權重矩陣的操作大大增加了處理器的帶寬需求和循環神經網絡的處理功耗。
[0005]針對權重矩陣過大的問題，通常的解決方案是對權重矩陣進行稀疏化，即將權重矩陣中小于預設閾值的元素置為零。這種稀疏化方案在降低權重矩陣大小的同時導致權重矩陣非零參數分布不均，由于權重矩陣的運算通常是在多個處理器核中并行運算的，權重矩陣的不均勻導致每個處理器核的運算量不均勻，運算資源利用率不高，從而降低了神經網絡的運算效率。
[0006]針對上述問題，現有的解決方案是對稀疏策略進行調整，通過設置自適應的稀疏化閾值，使得稀疏之后的權重矩陣的非零參數趨于均勻，從而使處理器核的運算負載趨于均勻。但是自適應閾值的選擇與處理器核的個數強相關，對于不同的處理器規格稀疏方案也要相應調整，增加了計算復雜度；且關鍵權重的分布不可能是均勻的，通過改變閾值強行使其均勻會導致神經網絡性能下降。

技術實現思路

[0007]本申請的實施例提供一種信號處理的系統和方法，用于提高神經網絡的運算效率。
[0008]有鑒于此，本申請第一方面提供了一種信號處理方法，該方法包括：
[0009]接收輸入信號矩陣，該信號矩陣包括多個計算機可處理的待處理信號；接收權重矩陣，該權重矩陣包括多個權重系數；對該輸入信號矩陣進行交織，得到交織信號矩陣；對該交織信號矩陣進行分塊，得到多個分塊信號矩陣；對該權重矩陣進行交織，得到交織權重
矩陣；對該交織權重矩陣進行處理，得到多個稀疏化分塊權重矩陣；將該多個稀疏化分塊權重矩陣與該多個分塊信號矩陣進行矩陣乘運算得到多個矩陣乘運算結果，其中，每個稀疏化分塊權重矩陣與對應于該稀疏化分塊權重矩陣的分塊信號矩陣進行矩陣乘運算得到一個矩陣乘運算結果，每個矩陣乘運算結果包括多個計算機可處理的輸出信號；輸出信號處理結果，其中該信號處理結果包括上述的多個矩陣乘運算結果。
[0010]在一種可能的設計中，對交織權重矩陣的處理包括：先對交織權重矩陣進行分塊，得到多個分塊權重矩陣；再對該多個分塊權重矩陣進行稀疏化，得到多個稀疏化分塊權重矩陣。
[0011]在一種可能的設計中，對交織權重矩陣的處理包括：先對交織權重矩陣進行稀疏化，得到稀疏化權重矩陣；再對該稀疏化權重矩陣進行分塊，得到多個稀疏化分塊權重矩陣。
[0012]在一種可能的設計中，交織該輸入信號矩陣和交織該權重矩陣遵循相同的交織規則。
[0013]在一種可能的設計中，該待處理信號包括語音信號、文本信號或圖像信號中的至少一項。在一種可能的設計中，該輸入信號矩陣來自神經網絡的輸入層或中間層。
[0014]在一種可能的設計中，該信號處理結果去往神經網絡的輸出層或中間層。
[0015]在一種可能的設計中，該多個分塊信號矩陣和該多個稀疏化分塊權重矩陣滿足矩陣乘規則。
[0016]在一種可能的設計中，該多個分塊信號矩陣的個數與該多個稀疏化分塊權重矩陣的個數相同。
[0017]在一種可能的設計中，該方法還包括：對該多個矩陣乘運算結果進行組合，得到該信號處理結果。
[0018]在一種可能的設計中，該輸出信號處理結果包括：將該多個矩陣乘運算結果作為整體輸出，以形成該信號處理結果。
[0019]本申請第二方面提供了一種信號處理裝置，包括：
[0020]第一輸入模塊，用于接收輸入信號矩陣，該輸入信號矩陣包括多個計算機可處理的待處理信號；第二輸入模塊，用于接收權重矩陣，該權重矩陣包括多個權重系數；第一交織模塊，用于交織輸入信號矩陣，得到交織信號矩陣；第一分塊模塊，用于分塊該交織信號矩陣，得到多個分塊信號矩陣；第二交織模塊，用于交織權重矩陣，得到交織權重矩陣；處理模塊，用于處理該交織權重矩陣，得到多個稀疏化分塊權重矩陣；矩陣乘模塊，用于將多個稀疏化分塊權重矩陣與多個分塊信號矩陣進行矩陣乘運算得到多個矩陣乘運算結果，其中，每個稀疏化分塊權重矩陣與對應于該稀疏化分塊權重矩陣的分塊信號矩陣進行矩陣乘運算得到一個矩陣乘運算結果，每個矩陣乘運算結果包括多個計算機可處理的輸出信號；輸出模塊，用于輸出信號處理結果，其中該信號處理結果包括上述的多個矩陣乘運算結果。
[0021]在一種可能的設計中，對交織權重矩陣進行處理的處理模塊包括：第二分塊模塊和稀疏化模塊，第二分塊模塊在稀疏化模塊之前，先在第二分塊模塊中對交織權重矩陣進行分塊，得到多個分塊權重矩陣；然后在稀疏化模塊中對該多個分塊權重矩陣進行稀疏化，得到多個稀疏化分塊權重矩陣。
[0022]在一種可能的設計中，對交織權重矩陣進行處理的處理模塊還可以包括：第二分
塊模塊和稀疏化模塊，稀疏化模塊在第二分塊模塊之前，先在稀疏化模塊中對交織權重矩陣進行稀疏化，得到稀疏化權重矩陣；然后在第二分塊模塊中對該稀疏化權重矩陣進行分塊，得到多個稀疏化分塊權重矩陣。
[0023]在一種可能的設計中，該第一交織模塊與該第二交織模塊遵循相同的交織規則。
[0024]在一種可能的設計中，該待處理信號包括語音信號、文本信號或圖像信號中的至少一項。
[0025]在一種可能的設計中，該輸入信號矩陣來自神經網絡的輸入層或中間層。
[0026]在一種可能的設計中，該信號處理結果去往神經網絡的輸出層或中間層。
[0027]在一種可能的設計中，該第一分塊模塊與該第二分塊模塊遵循相同的分塊規則。
[0028]在一種可能的設計中，該多個分塊信號矩陣和該多個稀疏化分塊權重矩陣滿足矩陣乘規則。
[0029]本申請第三方面提供了一種信號處理裝置，包括：輸入接口，用于接收輸入信號矩陣，該輸入信號矩陣包括多個計算機可處理的待處理信號，以及用于接收權重矩陣，該權重矩陣包括多個權重系數；處理器，被配置為可處理本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種信號處理方法，其特征在于，包括：接收輸入信號矩陣，所述輸入信號矩陣包括多個計算機可處理的待處理信號；接收權重矩陣，所述權重矩陣包括多個權重系數；交織所述輸入信號矩陣，得到交織信號矩陣；分塊所述交織信號矩陣，得到多個分塊信號矩陣；交織所述權重矩陣，得到交織權重矩陣；處理所述交織權重矩陣，得到多個稀疏化分塊權重矩陣；將所述多個稀疏化分塊權重矩陣與所述多個分塊信號矩陣進行矩陣乘運算得到多個矩陣乘運算結果，其中，每個稀疏化分塊權重矩陣與對應于該稀疏化分塊權重矩陣的分塊信號矩陣進行矩陣乘運算得到一個矩陣乘運算結果，每個矩陣乘運算結果包括多個計算機可處理的輸出信號；其中，所述交織包括改變矩陣中的元素的排列。2.根據權利要求1所述方法，其特征在于，所述處理所述交織權重矩陣，得到多個稀疏化分塊權重矩陣包括：分塊所述交織權重矩陣，得到多個分塊權重矩陣；稀疏化所述多個分塊權重矩陣，得到所述多個稀疏化分塊權重矩陣。3.根據權利要求1所述方法，其特征在于，所述處理所述交織權重矩陣，得到多個稀疏化分塊權重矩陣包括：稀疏化所述交織權重矩陣，得到稀疏化權重矩陣；分塊所述稀疏化權重矩陣，得到所述多個稀疏化分塊權重矩陣。4.根據權利要求1至3中任一項所述方法，其特征在于，交織所述輸入信號矩陣和交織所述權重矩陣遵循相同的交織規則。5.根據權利要求1至4中任一項所述方法，其特征在于，所述待處理信號包括語音信號、文本信號或圖像信號中的至少一項。6.根據權利要求1至5中任一項所述方法，其特征在于，所述輸入信號矩陣來自神經網絡的輸入層或中間層。7.根據權利要求1至6中任一項所述方法，其特征在于，所述方法還包括：輸出信號處理結果，其中，所述信號處理結果包括所述多個矩陣乘運算結果。8.根據權利要求7所述方法，其特征在于，所述輸出信號處理結果包括：將所述信號處理結果傳輸給神經網絡的輸出層或中間層。9.一種信號處理裝置，其特征在于，包括：第一輸入模塊，用于接收輸入信號矩陣，所述輸入信號矩陣包括多個計算機可處理的待處理信號；第二輸入模塊，用于接收權重矩陣，所述權重矩陣包括多個權重系數；第一交織模塊，用于交織所述輸入信號矩陣，得到交織信號矩陣；第一分塊模塊，用于分塊所述交織信號矩陣，得到多個分塊信號矩陣；第二交織模塊，用于交織所述權重矩陣，得到交織權重矩陣；處理模塊，用于處理所述交織權重矩陣，得...

【專利技術屬性】
技術研發人員：許若圣，
申請(專利權)人：華為技術有限公司，
類型：發明
國別省市：