基于人機共生的聲音信號處理的優化方法及裝置制造方法及圖紙

本發明專利技術實施例提供了一種基于人機共生的聲音信號處理的優化方法及裝置,該方法包括:獲取第一聲音信號，基于第一聲音信號進行聲音信號處理，獲取第二聲音信號，播放第二聲音信號；根據第二聲音信號，生成對應的視覺信息，并顯示視覺信息；獲取操作者響應于視覺信息以及第二聲音信號，針對第二聲音信號進行的調節操作；根據調節操作，更新聲音信號處理的處理策略。略。略。

Optimization method and device of sound signal processing based on man-machine symbiosis

【技術實現步驟摘要】
基于人機共生的聲音信號處理的優化方法及裝置


[0001]本專利技術涉及聲音處理
，尤其涉及一種基于人機共生的聲音信號處理的優化方法及裝置

技術介紹

[0002]隨著技術的發展，對于原始聲音信號進行處理，使其更適于人類的聽覺系統和聽覺習慣，或者說使得人類可以更方便的從處理后的聲音信號中獲取有用的信息，成為一種趨勢。但是，現有的聲音處理技術，通常需要依賴技術人員基于經驗配置處理算法和參數，且其配置后的算法和參數只能在一定的應用范圍內達到較好的處理的效果。也就是說，其信號處理具有適用范圍和特定人員依賴上的局限性。

技術實現思路

[0003]本專利技術為解決上述技術問題采用的技術方案為，一方面提供一種聲音信號處理的優化方法，包括：
[0004]獲取第一聲音信號，基于所述第一聲音信號進行聲音信號處理，獲取第二聲音信號，播放所述第二聲音信號；
[0005]根據所述第二聲音信號，生成對應的視覺信息，并顯示所述視覺信息；
[0006]獲取操作者響應于所述視覺信息以及第二聲音信號，針對所述第二聲音信號進行的調節操作；
[0007]根據所述調節操作，更新所述聲音信號處理的處理策略。
[0008]優選地，獲取第一聲音信號，包括，獲取若干通道的原始聲音信號。
[0009]優選地，基于所述第一聲音信號進行聲音信號處理，獲取第二聲音信號，包括：
[0010]融合所述若干通道的原始聲音信號，得到至少單通道的中間信號；
[0011]對所述中間信號，進行第一信號處理，獲取第二聲音信號。
[0012]優選地，所述視覺信息，包括：
[0013]第二聲音信號對應的動態相對能譜圖或動態音色分布圖。
[0014]優選地，所述視覺信息，還包括：
[0015]第二聲音信號對應的調性變率曲線，和/或，動態節律變率曲線。
[0016]優選地，根據所述調節操作，更新所述聲音信號處理的處理策略，包括：
[0017]基于機器學習，根據所述調節操作，更新所述聲音信號處理的處理策略。
[0018]優選地，基于機器學習，根據所述調節操作，更新所述聲音信號處理的處理策略，包括：
[0019]獲取第一聲音信號在下一時刻對應的第三聲音信號；將第三信號輸入機器學習模型，得到第四信號；
[0020]根據所述調節操作對應的調音參數，確定第四信號與期望信號之間的第一差異；
[0021]以第一差異趨于變小為目的，更新所述機器學習模型的參數。
[0022]第二方面，提供一種聲音信號處理的優化裝置，包括：
[0023]聲音信號處理單元，配置為，獲取第一聲音信號，基于所述第一聲音信號進行聲音信號處理，獲取第二聲音信號，播放所述第二聲音信號；
[0024]視覺信息處理單元，配置為，根據所述第二聲音信號，生成對應的視覺信息，并顯示所述視覺信息；
[0025]調節信息獲取單元，配置為，獲取操作者響應于所述視覺信息以及第二聲音信號，針對所述第二聲音信號進行的調節操作；
[0026]處理策略更新單元，配置為，根據所述調節操作，更新所述聲音信號處理的處理策略。
[0027]第三方面，提供一種計算機可讀存儲介質，其上存儲有計算機程序，當所述計算機程序在計算機中執行時，令計算機執行第一方面所述的方法。
[0028]第四方面，提供一種計算設備，包括存儲器和處理器，所述存儲器中存儲有可執行代碼，所述處理器執行所述可執行代碼時，實現第一方面所述的方法。
附圖說明
[0029]為了更清楚說明本專利技術實施例的技術方案，下面將對實施例描述中所需使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0030]圖1為本專利技術實施例提供的一種聲音信號處理的優化方法的原理圖；
[0031]圖2為本專利技術實施例提供的一種聲音信號處理的優化方法的流程圖；
[0032]圖3為本專利技術實施例提供的視覺增強信號的示意圖；
[0033]圖4為本專利技術另一實施例提供的視覺增強信號的示意圖；
[0034]圖5為本專利技術又一實施例提供的視覺增強信號的示意圖；
[0035]圖6為本專利技術實施例提供的聲音調節裝置的示意圖；
[0036]圖7為本專利技術實施例提供的一種聲音信號處理的優化裝置的結構圖。
具體實施方式
[0037]為使本專利技術實施例的目的、技術方案和優點更加清楚，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。
[0038]聲音信號處理是信號處理技術中的一種。經過長期的實踐，聲音信號處理領域存在大量的經典算法，能夠對聲音信號進行各種處理。但是，這些算法通常都有其各自調節的參數。面對具體的應用場景，設置合適的參數能夠取得很好的成果，而錯誤的參數則會使得算法不能發揮應有的作用。目前的聲音處理方案中，對于各種處理算法，通常需要基于人工經驗設置運算參數，或者通過實驗確定適合場景的運算參數。但是，這種方法存在如下問題：一方面需要花費較多技術人員的人工工作量。另一方面，對于實施人員的技術要求較高，其實施效果過于依賴于實施人員的經驗和技術水平。
[0039]為了解決上述技術問題，本專利技術實施例提供了一種聲音信號處理的優化裝置。下
面首先對該方法的原理進行闡述。
[0040]人類通過耳朵來感知聲音信號。但是，在諸如信號極弱、信噪比低的情況下，或者對于聽障人士來說，人的耳朵常常不能很好地感知和理解聽覺信息。針對這種情況，當前的解決方案是通過傳感器來獲取和增強信號，例如通過助聽器、聲音信號放大器等，來幫助人感知和理解聲音。然而，在極低信噪比的情形下，簡單地放大信號并不能增強人對聲音信號的感知和理解。
[0041]視聽覺融合是人類認知的一種基本功能，視覺輔助能夠極大地增強人對聽覺信號的感知。例如，日常交流中，面對面的交流比電話交流能夠更好地聽清楚并理解對方，這是因為視覺通道獲取的說話人的嘴唇運動、表情等視覺信息能夠促進聽覺信號的獲取和理解。基于這種觀察，本專利技術實施例提出了通過處理和可視化聲音信號來增強人的聽覺認知的方法。其本質是利用機器智能處理和分析聽覺信號，并采用可視化方法通過圖像、圖形等呈現處理后的聽覺信號，給聽者提供實時的視覺反饋，從而使得聽者可以通過與視覺認知的融合，更好地理解聽覺內容。并且，可以基于聽者對于呈現的聽覺、視覺信號的反饋，更新信號處理的策略參數，從而可以自動學習更好的信號處理策略。此外，經過專利技術人的調研，目前的公開技術中，尚沒有關于通過視聽覺融合、以及反饋視聽覺增強聽覺認知的方案。
[0042]圖1為本專利技術實施例提供的一種聲音信號處理的本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種聲音信號處理的優化方法，包括：獲取第一聲音信號，基于所述第一聲音信號進行聲音信號處理，獲取第二聲音信號，播放所述第二聲音信號；根據所述第二聲音信號，生成對應的視覺信息，并顯示所述視覺信息；獲取操作者響應于所述視覺信息以及第二聲音信號，針對所述第二聲音信號進行的調節操作；根據所述調節操作，更新所述聲音信號處理的處理策略。2.根據權利要求1所述的方法，其中，獲取第一聲音信號，包括，獲取若干通道的原始聲音信號。3.根據權利要求2所述的方法，其中，基于所述第一聲音信號進行聲音信號處理，獲取第二聲音信號，包括：融合所述若干通道的原始聲音信號，得到至少單通道的中間信號；對所述中間信號，進行第一信號處理，獲取第二聲音信號。4.根據權利要求1所述的方法，其中，所述視覺信息，包括：第二聲音信號對應的動態相對能譜圖或動態音色分布圖。5.根據權利要求4所述的方法，其中，所述視覺信息，還包括：第二聲音信號對應的調性變率曲線，和/或，動態節律變率曲線。6.根據權利要求1所述的方法，其中，根據所述調節操作，更新所述聲音信號處理的處理策略，包括：基于機器學習，根據所述調節操作，更新所述聲音信號處理的處理策略。7.根據權利要求6所述的方法，其中，基于機器...

【專利技術屬性】
技術研發人員：陶霖密，劉政，姚雪，陶妍，謝宇超，倪正，
申請(專利權)人：中國船舶工業系統工程研究院，
類型：發明
國別省市：