一種基于肌電信號的輔助發聲方法及裝置制造方法及圖紙

本發明專利技術涉及一種基于肌電信號的輔助發聲方法及裝置，所述方法包含：利用肌電信號獲得輔助發聲所需的先驗知識庫的步驟；基于先驗知識庫識別“發聲”動作對應的詞語或漢字，并對漢字或詞語語音合成的步驟。驗知識庫獲得方法為：1)對要學習的漢字或詞語進行“發聲”，采集該“發聲”動作引起的相關的肌肉運動，產生表面肌電信號；2)將“發聲”相關的表面肌電信號傳輸給表面肌電信號的篩選與分離模塊；3)表面肌電信號的篩選與分離模塊對肌電信號進行處理，提取“發聲”相關的肌電語音信號；4)語音肌電信號識別模塊提取肌電語音信號的特征值，建立肌電語音信號與漢字或詞語“發聲”之間的對應關系5)多次重復上述步驟，最終獲得先驗知識庫。

【技術實現步驟摘要】

本專利技術涉及一種基于肌電信號的輔助發聲方法，特別地，涉及一種基于肌電信號 的輔發聲方法及裝置。
技術介紹
根據2006年進行的第二次殘疾人抽樣調查結果推算，全國言語殘疾人口 127萬， 占1. 53%。發聲障礙會嚴重影響生活質量，造成溝通的不便，而且對家庭和社會來說都是沉 重的負擔。發聲障礙的病因分為兩大類-器質性的和非器質性的。器質性的發聲障礙源于患 者喉部的疾病，特別是半喉和全喉的切除術會導致患者發聲功能的喪失；非器質性發音障 礙多是由精神因素引起的失聲。非器質性發音障礙又稱心因性發音障礙，其表現為程度不同的嗓音撕啞，喉頭檢 查陰性，咳嗽、笑或清嗓子時聲音接近正常。目前的治療方法是除發音訓練外，結合精神上 的照顧開導，適當選用暗示或誘導治療，治療恢復時間比較慢。器質性的發聲障礙失去了發音器官，動力器官肺雖存在，但氣體的交換通過氣管 造瘺口進行，不經咽腔和鼻腔。目前，主要有3種輔助發聲方法即食管音、氣管食管音和人 工喉。I)食管音的缺點是發音連貫性差，聲時短，音調低，只適合在小范圍、背景安靜的環境 中交流。發音不當常可引起腹脹及燒心感。2)氣管食管音包括外瘺法和內瘺法。外瘺法手 術過程復雜，外裝置給病人造成不便，設計原理不適合頸部廓清手術和放療后的患者，并發 癥如誤吸仍難避免；內瘺法發音時需要用手堵住氣管造瘺口，同時并發癥也越來越引起人 們的重視，其長期發音效果還需觀察。3)人工喉的優點是設備簡單，發出的聲音聲時長、響 亮，可作長時間交談。據統計，使用人工喉的患者，3年和5年后仍有57%的和50%的人在 繼續使用，高于食管音和氣管食管音。其缺點是使用不甚方便，交談時宛如手持煙斗一樣需 要用手將其固定，講話時不能雙手同時工作；而且發音的音質單調、刺耳，帶有金屬音。目前，其它的輔助發聲方法還有美國猶他大學科學家利用兩組植入癲癇患者大腦中的微電極陣列成功實現將大 腦信號轉化為口語單詞。這一成果能夠幫助因患嚴重麻痹癥而失去語言能力的患者輕松地 表達自己的思想。這種微電極陣列每組包括16個微電極，通常植入到頭骨之下，大腦之上。 這項專利技術證明了大腦信號解碼為計算機發音的口語單詞的可行性。但是這種方法的手術難 度很大，危險性高。美國的AUDEO家公司從事腦電波方案的研究，通過傳感器提取患者發聲的腦電波 信號進行判別，此產品的技術復雜度更高，只是用于英語發音，也處于試用階段。中科院計算所采用手語合成技術來輔助發聲障礙的患者進行說話，普通人和聾啞 人的交流需要通過電腦來完成。電腦的屏幕上有一個虛擬人，它能將輸入的每一句話都用 手語翻譯出來，而聾啞人只要戴上一個特制的手套，他的手語也馬上變成了屏幕上的一行 行文字。這種方案的優點是聾啞人群均適用，缺點是講話時雙手不能工作，識別率低，仍處于科研階段。
技術實現思路
本專利技術的目的是，針對上述輔助發聲方法的缺點，結合發聲障礙者的需求，提供一 種使用安全、方便美觀、學習時間短、發聲效果好的輔助發聲方法，即本專利技術提供一種基于 肌電信號的輔助發聲方法及裝置。為了實現上述目的，本專利技術提供一種基于肌電信號的輔助發聲方法，該方法基于 發聲方面的機能，包含用于獲得利用肌電信號輔助發聲所需的先驗知識庫的步驟。用于基于先驗知識庫識別“發聲”動作對應的詞語或漢字，并對漢字或詞語進行語 音合成的步驟。可選的，所述的先驗知識庫采用如下方法獲得I)對要學習的漢字或詞語進行“發聲”，采集該“發聲”動作引起的相關的肌肉運 動，產生表面肌電信號。2)將“發聲”相關的表面肌電信號傳輸給表面肌電信號的篩選與分離模塊。3)表面肌電信號的篩選與分離模塊對肌電信號進行濾波、歸一化和盲源分離處 理，提取出與此漢字或詞語“發聲”相關的肌電語音信號。4)語音肌電信號識別模塊提取肌電語音信號的特征值，利用神經網絡和支持向量 機技術，建立肌電語音信號與漢字或詞語“發聲”之間的對應關系，將此關系保存下來。5)多次重復上述步驟，最終獲得先驗知識庫。可選的，所述基于先驗知識庫識別“發聲”動作對應的詞語或漢字的過程包含如下 步驟I)執行“發聲”動作。2)采集該“發聲”動作對應的頸部或面部附近與語音相關位置的相關的表面肌電 信號并將其傳輸給表面肌電信號的篩選與分離模塊。3)表面肌電信號的篩選與分離模塊對表面肌電信號進行濾波、歸一化和盲源分離 算法進行處理，以濾除表面肌電信號中包含的眨眼、呼吸或心跳引起的雜波。4)語音肌電信號識別模塊提取上步最終得到的肌電信號的特征值，建立肌電信號 與先驗知識庫的對應關系，識別“發聲”動作的漢字或詞語。5)利用語音合成技術將該漢字或詞語的語音播放出來。上述技術方案中，所述步驟2)進一步為首先，采用截止頻率為2K的低通濾波器進行濾波，并對濾波后的信號進行白化處 理；然后，利用獨立分量ICA自然梯度串行更新算法或者批處理更新算法進行盲源分離的 計算，得到相互獨立的多通道數據；最后，將相互獨立的多通道數據進行分類后，排除干擾信號。基于上述方法本專利技術還提供一種基于肌電信號的輔助發聲裝置，該裝置基于發聲 方面的機能，包含傳感器用于米集表皮肌電信號。發送單元采集后進行帶通濾波，將信號通過有線(或無線)的方式傳遞給表面肌電信號的篩選與分離模塊。表面肌電信號的篩選與分離模塊將多路信號進行篩選與分離，將干擾信號(眨 眼，呼吸，脈搏等引起的肌電信號)濾除。只保留由發聲引起的肌電信號。和語音肌電信號識別模塊將肌電信號經模式識別技術提取出特征值，與發聲的漢 字或詞語形成對應關系。上述技術方案中，所述的裝置還包含語音合成單元，該單元用于將所需要發生的 漢字或詞語通過語音合成技術通過語音的方式播放出來。可選的，所述表面肌電信號的篩選和分離模塊首先采用截止頻率為2K的低通濾 波器進行濾波，并對濾波后的信號進行白化處理；然后，利用獨立分量ICA自然梯度串行更 新算法或者批處理更新算法進行盲源分離的計算，等到相互獨立的多通道數據；最后，將相 互獨立的多通道數據進行分類后，排除干擾信號。本專利技術充分發揮了患者依然存在的發聲方面某些機能，通過采集發聲時的表面肌 電信號，建立其與所發聲音之間的關系，從而輔助發聲障礙的患者發聲。這樣的方案更加自 然簡潔，可以大大提高了患者的生活品質。本專利技術的優點在于1.由于患者原先會使用聲帶進行發聲，因此學習時間比較短，而且學習的過程相 對更加自然、快速、容易掌握、不會給患者帶來痛苦。而食道發聲法，啞語的學習相比之下要 復雜的多。2.氣管食管發音需要手術安裝，而這種輔助發聲設備則只需要將電極簡單佩戴就 可以。患者減輕了安裝的痛苦而且安全，無副作用。3.本系統在使用的時候，雙手可以同時工作，操作更加方便靈活。4.由于使用的語音合成技術發音，因此患者使用本系統后發出的聲音理論上可以 更加自然，更加接近正常人發音的特性。附圖說明圖1是本專利技術的輔助發聲學習過程原理示意圖2是本專利技術的輔助發聲系統工作原理圖。具體實施方式下面結合附圖及具體實施例對本專利技術作進一步的描述。本專利技術在廣泛的調研的基礎上，結合發聲障礙者的需求，吸取以往的輔助發聲系 統地優缺點，提出了一種新型的輔助發聲方法。這種輔助發聲設備的原理是，通過采集患者 “發聲”時口腔，頸部或面部等部位的多路肌電信號。通過已有的先驗知識，將其“翻譯”成 “語言”，再通過本文檔來自技高網...

【技術保護點】
一種基于肌電信號的輔助發聲方法，該方法基于發聲方面的機能，包含：用于獲得利用肌電信號輔助發聲所需的先驗知識庫的步驟；用于基于先驗知識庫識別“發聲”動作對應的詞語或漢字，并對漢字或詞語進行語音合成的步驟。

【技術特征摘要】

【專利技術屬性】
技術研發人員：理華，孟曉輝，肖靈，
申請(專利權)人：中國科學院聲學研究所，
類型：發明
國別省市：