一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法制造技術

本發明專利技術涉及一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，屬于音頻信號處理技術領域。本發明專利技術利用玻爾茲曼機強大的無監督學習能力對采集的音頻信號從高維可視層的輸入值映射到低維隱藏層，并利用少量的標簽信息利用音頻特征信號出現的概率大于噪聲特征信號的概率實現對低維特征數據進行聚類分組，從而達到對音頻信號去噪特征提取的目的。本發明專利技術抗干擾能力強，對處理的音頻信號長度要求低，算法簡單，并且一次性完成了對音頻信號的去噪、特征提取、降維的處理，編程易于實現，對于實際的音頻信號處理也具有強大的穩定性和魯棒性。

A Noise Reduction Frequency Feature Extraction Method Based on Variation Restricted Boltzmann Machine

The invention relates to an algorithm for extracting features of denoising frequency based on mutation limited Boltzmann machine, belonging to the field of audio signal processing technology. The invention maps the collected audio signal from the input value of the high-dimensional visual layer to the low-dimensional hidden layer by using the strong unsupervised learning ability of Boltzmann machine, and uses a small amount of label information to realize clustering and grouping of the low-dimensional characteristic data by using the probability that the audio characteristic signal appears is larger than the noise characteristic signal, thus achieving the purpose of extracting the denoising feature of the audio signal. The invention has strong anti-interference ability, low requirement for the length of the audio signal processed, simple algorithm, and one-time processing of denoising, feature extraction and dimension reduction of the audio signal. The programming is easy to realize, and has strong stability and robustness for the actual audio signal processing.

【技術實現步驟摘要】
一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法
本專利技術涉及一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，屬于音頻特征信號處理

技術介紹
現有的音頻特征提取大多是對音頻信號特征系數的提取，如線性預測系數(LPC)、線性預測倒譜系數(LPCC)、梅爾頻率倒譜系數(MFCC)等，這些特征提取方法要么是對于音頻信號直接進行系數特征提取，提取出的特征參數也需進行降維處理才可用于音頻分類或音頻識別中，一系列的處理流程使得整個音頻信號處理過程花費了大量的時間。本文中所提出的算法利用受限玻爾茲曼機強大的無監督學習能力和貝葉斯相關知識實現了對不定長音頻信號的去噪特征提取，其間也實現了降維處理。并且受限玻爾茲曼機對于大數據處理具有強大的穩定性和魯棒性。
技術實現思路
本專利技術是利用受限玻爾茲曼機強大的無監督學習能力，將不定長音頻信號作為模型的輸入，通過權值閾值計算映射到低維的隱含層空間。因為有用音頻特征信號出現的概率要大于噪聲特征信號的概率，故利用其特性通過閾值函數和標簽信息對對隱空間的特征參數進行聚類分組。其間在對模型進行訓練過程中為了更快更高校的求取模型的閾值和權值引入了變異算子即以一定概率接受較差解，從而也避免了尋優過程陷入局部最優的問題。本算法理論簡單，適用于現在的大規模音頻數據處理，對現目前的音頻特征提取算法提供了一種新的思路，在實現特征提取時候同時進行了音頻信號的去噪和降維處理，其算法也可用于人工智能的音頻識別等相關領域。本專利技術的技術方案為：一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，該方法具體包括以下步驟：(1)音頻信號采集：采集音頻信號，獲得音頻樣本。(2)信號預處理：將采集的音頻信號進行分組，分別為訓練組合測試組。(3)受限去噪玻爾茲曼機模型的搭建：利用受限玻爾茲曼機優良的無監督學習能力構建學習模型，其模型分為可視層和隱含層以及標簽層。(4)去噪音頻特征模型訓練：變異受限玻爾茲曼機模型首先利用有用音頻特征出現的概率總大于噪聲特征出現的概率進而實現對預訓練的RBM模型的隱含層分成兩組，然后以混合結構的變異受限玻爾茲曼機對輸入的高斯超向量的音頻特征和噪聲特征進行分別建模和訓練。(5)音頻特征信號的對比檢驗：用測試組數據送入去噪受限玻爾茲曼機模型中，將訓練組所獲得的特征值與本次測試數據所獲得的特征值進行相似度計算進而判斷特征提取與聚類結果的準確性。上述的一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，步驟(1)中因為所取樣本為語音信號故將麥克風接收聲道數設置為單聲道，設置采樣頻率要滿足奈奎斯特采樣定理即采樣頻率應大于等于2倍采樣信號的最高頻率，獲取得到為數字信號x(n)。上述的一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，步驟(2)中信號預處理將采集好的數字信號讀出并進行分組，分為訓練組x1和測試組x2，訓練組用于受限玻爾茲曼的的模型訓練以獲取較好的模型參數，測數組數據用于測試所訓練出的受限玻爾茲曼機去噪音頻特征提取模型的真實性能。上述的一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，步驟(3)中受限玻爾茲曼機去噪音頻特征提取模型的搭建包括以下步驟：(1)假定隱含層低維空間為T，F為特征維數，C為混合高斯數，高斯超向量(GMM)是由高斯的均值向量與總體差異構成，對于一段音頻信號可由如下高斯超向量表示：M＝x+Tw(1)其中x表示與說話人和信道無關的音頻超向量，由通用背景模型(UBM)的高斯均值向量構成，為整個高斯超向量空間的中心；T為低維空間CFχR的載荷矩陣即總體差異空間，R為總體差異因子個數；w為服從標準正太分布的隨機向量即總體差異因子；對于超向量M其均值為x，協方差為TTT，T和w可通過期望最大化(EM)得到估計值。(2)受限玻爾茲曼是一種無自反饋的隨機神經網絡模型，層間雙向全連接，層內無連接。RBM模型是馬爾科夫隨機場中的一種，所有節點的聯合分布服從玻爾茲曼分布，故可將RBM看做是一種能量模型并用概率測度進行求解。RBM的可視層與隱含層之間的系統能量函數定義為如下表達式：E(v,h)＝-vTWh-bTv-aTh(2)其中v可視層即本文中的高斯超向量M；h為隱含層即本文所需的低維特征向量；W為層間權值；b為正向網絡閾值；a為反向網絡閾值。基于RBM的能量函數可進一步定義可視層與隱含層直接的聯合概率分布：其中符號含義同公式(2)，Z為歸一化因子在深度神經網絡的訓練過程中，可見層單元一般貝努力或者高斯分布，隱含層單元服從貝努力分布。由于RBM模型層內無連接，層間全連接使得給定可見層單元狀態時，其隱含層的激活狀態是相互獨立的，隱含層單元的激活概率可定義為：其中i為輸入層神經元單元，j為隱含層神經元，后述公式下標相同，上述公式因為RBM模型的結構是對稱的，所以可視層單元的激活函數定義定為：其中歸一化函數同公式(7)，由于歸一化因子的存在，可見層與隱含層的聯合概率p(v,h)無法直接計算，一般通過對比散度法(CD)進行近似求解。(3)對比散度算法即使用初始化訓練數據M，僅需要使用k(通常k＝1)步Gibbs采樣就可以得到足夠好的近似求解值。首先將可見層單元的狀態設置成一個訓練樣本M，并利用如下公式計算隱藏層單元Y：在所有隱藏單元狀態確定了之后，反向根據如下公式來確定可見層的一個重構M′：然后將重構的可見層作為真實的模型帶入RBM模型中得到Y′:我們將M與Y做乘積得到矩陣z，將M′與Y′做乘積得到矩陣Z′，兩個矩陣的行為輸入層即可視層的單元數碼，列為隱含層的單元數目。進而就可以進行梯度下降算法了，進一步受限玻爾茲曼機的權值閾值更新有如下公式：Wk+1＝Wk+λ(Z-Z′)(11)bk+1＝bk+λ(Y-Y′)(12)ak+1＝ak+λ(M-M′)(13)其中λ為自適應學習率，根據模型值M與訓練集的期望M′之間的差值進行權值閾值的迭代直到其誤差值小于預設值，從而通過訓練獲得所需要的受限波爾滋蔓機模型。傳統的權值閾值迭代求解是根據前后輸出值之間的誤差大小來完全確定是否接受本次迭代求解，本算法為了避免陷入局部最優解而錯過全局最優解，提高權值閾值的求解迭代速度，本算法引入變異算子即隨機接受較差解算法，定義控制算子參量為D,其迭代過程中滿足如下公式：Dk+1＝α*Dk(14)其中α為[01]區間內非常接近于1的數；k為迭代次數；D一般設置為1000或者更高，當迭代到預設停止迭代數值或者D的預設最小值停止值時停止迭代。定義模型值M與訓練集的期望M′之間的差值第一次為ε1和第二次為ε2，其變異算子定義為：公式表示，根據計算兩次模型值與訓練集的期望之間的差值，若第二次的模型值與訓練集的期望之間的差值比第一次模型值與訓練集的期望之間的差值小，則說明該次權值閾值求解有效，若第二次的差值比第一次的差值大并不放棄此次的求解值，而是以一定的概率接受該次所求解的權值閾值，從而避免了陷入局部最優的問題。上述的一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，步驟(4)中去噪音頻特征模型訓練首先將上述中所建立的訓練模型的隱含層分成兩組，因為音頻特征出現的概率總大于噪聲特征出現的概率，因此其對應的隱含層單元的激活值更大，且激活次數越多，根據這一特點實現對隱含層單元的聚類分組。其分組所使用的概率函數即公式(7)歸本文檔來自技高網...

【技術保護點】
1.一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，其特征在于：具體步驟如下：(1)音頻信號采集：采集音頻信號，獲得音頻樣本；(2)信號預處理：將采集的音頻信號進行分組，分別為訓練組合測試組；(3)受限去噪玻爾茲曼機模型的搭建：利用受限玻爾茲曼機構建學習模型，在學習模型的權值閾值求解過程中引入變異因子獲得變異的受限玻爾茲曼機模型即受限去噪玻爾茲曼機模型，模型分為可視層、隱含層以及標簽層；(4)去噪音頻特征模型訓練：首先利用音頻特征出現的概率總大于噪聲特征出現的概率實現對變異受限玻爾茲曼機模型的隱含層分成兩組，得到混合結構的變異受限玻爾茲曼機模型，然后以混合結構的變異受限玻爾茲曼機對訓練組的高斯超向量的音頻特征和噪聲特征進行分別建模和訓練以獲得去噪音頻特征信號；(5)音頻特征信號的對比檢驗：將測試組送入搭建好的受限去噪玻爾茲曼機模型中，將訓練組所獲得的特征值與本次測試數據所獲得的特征值進行相似度計算進而判斷特征提取與聚類結果的準確性。

【技術特征摘要】
1.一種基于變異受限玻爾茲曼機的去噪音頻特征提取算法，其特征在于：具體步驟如下：(1)音頻信號采集：采集音頻信號，獲得音頻樣本；(2)信號預處理：將采集的音頻信號進行分組，分別為訓練組合測試組；(3)受限去噪玻爾茲曼機模型的搭建：利用受限玻爾茲曼機構建學習模型，在學習模型的權值閾值求解過程中引入變異因子獲得變異的受限玻爾茲曼機模型即受限去噪玻爾茲曼機模型，模型分為可視層、隱含層以及標簽層；(4)去噪音頻特征模型訓練：首先利用音頻特征出現的概率總大于噪聲特征出現的概率實現對變異受限玻爾茲曼機模型的隱含層分成兩組，得到混合結構的變異受限玻爾茲曼機模型，然后以混合結構的變異受限玻爾茲曼機對訓練組的高斯超向量的音頻特征和噪聲特征進行分別建模和訓練以獲得去噪音頻特征信號；(5)音頻特征信號的對比檢驗：將測試組送入搭建好的受限去噪玻爾茲曼機模型中，將訓練組所獲得的特征值與本次測試數據所獲得的特征值進行相似度計算進而判斷特征提取與聚類結果的準確性。2.根據權利要求1所述的基于變異受限玻爾茲曼機的去噪音頻特征提取算法，其特征在于：所述音頻信號采集時需要設置好聲道模式、采樣頻率以及量化間隔，其中采樣頻率應滿足奈奎斯特采樣定理，即采樣頻率應大于等于2倍采樣信號的最高頻率，獲取得到為數字信號x(n)。3.根據權利要求1所述的基于變異受限玻爾茲曼機的去噪音頻特征提取算法，其特征在于：所述信號預處理將采集好的音頻信號進行讀取出并進行分組，分為訓練組x1和測試組x2，訓練組用于訓練模型參數，測試組用于檢驗訓練出的模型結果如何。4.根據權利要求1所述的基于變異受限玻爾茲曼機的去噪音頻特征提取算法，其特征在于：所述受限去噪玻爾茲曼機模型的搭建包括以下步驟：(1)模型搭建首先定義T為隱含層低維空間，F為特征維數，C為混合高斯數，高斯超向量是由高斯的均值向量與總體差異構成，對于一段音頻信號可由如下高斯超向量表示：M＝x+Tw其中x表示與說話人和信道無關的音頻超向量，由通用背景模型的高斯均值向量構成，為整個高斯超向量空間的中心；T為低維空間CFχR的載荷矩陣即總體差異空間，R為總體差異因子個數；w為服從標準正太分布的隨機向量即總體差異因子；對于超向量M其均值為x，協方差為TTT，T和w可通過期望最大化得到估計值。(2)將受限玻爾茲曼模型看做是一種能量模型并用概率測度進行求解，其可視層與隱含層之間的系統能量函數定義為如下表達式：E(v,h)＝-vTWh-bTv-aTh其中v可視層即本文中的高斯超向量M；h為隱含層即本文所需的低維特征向量；W為層間權值；b為正向網絡閾值；a為反向網絡閾值，基于受限玻爾茲曼模型的能量函數進一步定義可視層與隱含層直接的聯合概率分布：其中Z為歸一化因子又稱分配函數，其表達式如下：在深度神經網絡的訓練過程中，可見層單元服從貝努力分布或者高斯分布，隱含層單元服從貝努力分布，由于受限玻爾茲曼模型...

【專利技術屬性】
技術研發人員：龍華，楊明亮，宋耀蓮，
申請(專利權)人：昆明理工大學，
類型：發明
國別省市：云南,53