長語音連續識別及識別結果實時反饋方法和系統技術方案

本發明專利技術公開了一種長語音連續識別及語音識別結果實時反饋的方法及系統。該方法包括：在識別網絡中增加句尾結束點到識別起始點的擴展可能性；解碼過程中，識別路徑在擴展時既可以生成單一句子，也可以生成多個連續句子，通過聲學和語言概率的整體尋優來分割大篇幅語音信號；定期對所有活躍節點的最優歷史路徑的共有部分進行檢測；獲得當前時刻已經固定下來的識別單詞序列；將更新的局部識別結果實時反饋給用戶；回收已經確定下來的識別部分對應的解碼空間。利用本發明專利技術，不依賴于端點檢測算法，即可實現長語音信號的連續、可持續識別，同時給用戶更好的人機交互體驗。

【技術實現步驟摘要】

本專利技術涉及語音識別
，特別地涉及ー種長語音連續識別及語音識別結果的實時反饋方法及系統。
技術介紹
隨著移動互聯網的發展，作為最自然高效的人機交互手段之一，語音識別及其相關技術越來越廣泛的應用在生活中。語音識別不再僅僅是好看的花瓶.而是實實在在地進入了普通人的生活，給我們的社會帶來便捷和快樂。在實際應用中，對于面向大篇幅的語音信號輸入進行實時語音識別的應用，傳統的方法是采用在線端點檢測的方法，對語音的起始點和結束點進行在線的檢測，并通知在線解碼器進行相應的操作發現語音起始點后，啟動在線語音識別，并對后續語音進行在線解碼；發現語音結束點后，對已經處理完畢的解碼狀態記錄進行回溯，獲得最優歷史路徑及其對應的單詞列表，即識別結果。該方法的問題在于一方面，在線端點檢測的精度有限。端點檢測算法通常采用短時能量和短時過零率分析的方法，或者采用基于模型的方法進行語音、非語音的分類。采用短時能量和短時過零率分析的方法，需要為語音非語音段的劃分選擇ー個甚至多個門限，而該門限的選擇很大程度上需要依賴于對實際語音的特點進行調整才能獲得最優的效果。采用基于模型的方法進行語音、非語音的分類，則依賴于模型的語音訓練樣本與實際語音的一致性。因此，目前來說，較難獲得ー個通用且高效的端點檢測算法。另ー方面，端點檢測的標準僅僅是依賴于語音段和非語音段的判別，而實際上，完整的語音句子的分割更多的還依賴于語義的完整性。例如，在實際ロ語說話中，常常出現因為猶豫、語速慢或沒有想清楚而出現句中停頓的現象，如果停頓時間稍長，語音的端點檢測系統會因為誤判為語音結束點而強行將ー個完整的句子截成兩段。再如，在表達一段比較長的意思時，很多人的說話習慣是一句說話之后，馬上把下一句的連接詞說完之后再做停頓，以告知其他人其意思尚未表達完。這種情況下，也會造成語音端點檢測系統錯誤的對語音進行分割。總之，實際應用中，端點檢測的目標與完整語義句子的分割目標并不是嚴格一致的。從上面的分析可以看出，對于大篇幅的語音信號，采用將連續語音信號分割成獨立的語音片斷和非語音片斷，然后對分割得到的語音片斷進行識別的方法，有較多的局限性和依賴性。如上所述，分割結果不可避免的錯誤必然會帶入后續的識別結果中，造成不必要的識別錯誤。對于實際系統來說，用戶對系統的響應速度有著越來越高的要求。采用在線語音識別技術，可以在語音輸入的同時進行同步的實時解碼，將所有可能的識別結果進行實時的同步擴展。一旦發現語音輸入結束點，立即進行當前全局最優路徑的回溯，從而獲取識別結果。這種在線語音識別技術，節約了語音本身的輸入時間，只需要較短的時間延遲，即可獲取語音輸入的識別結果。但這種方式的ー個局限性在于，需要到達一段語音的結束點，才確定該語音全局最優的識別結果。因為在這段語音的中間任ー時刻，獲得的當前時間最優路徑僅僅是局部最優點，如果從局部最優點進行回溯，其結果并不一定與整段語音的識別結果相一致。因此，對于用戶來說，至少需要等到一句話說完的一定時間之后，才能看到識別的結果。尤其在用戶語速較密，端點檢測方法較難判斷語音結束點時，用戶會等待較長的時間才能看到識別結果反饋，這是一種較差的用戶體驗。
技術實現思路
有鑒于此，為了更好的解決長語音信號連續識別問題，同時給用戶更好的反饋體驗，本專利技術提供了ー種長語音連續識別及識別結果實時反饋方法及系統，在語音識別的過程中，減少對端點檢測算法的依賴，更多的引入對語義完整性的判斷，采用全局最優的方式尋找語音信號中句子的結束點，實現大篇幅語音連續識別；同時，實時檢測當前時刻下已經確定的最優識別結果，無需等待句子結尾即可反饋給用戶，從而提高響應速度。為此，本專利技術提出了ー種語音識別結果實時反饋方法，其包括步驟I，在識別的過程中，定期對目前所有活躍節點的歷史路徑的共有部分進行檢測；步驟2，對檢測到的歷史路徑中的共有部分進行回溯，獲得該歷史路徑的共有部分上的語音識別結果，并將其作為當前時刻已經確定下來的語音識別結果；步驟3，判斷所述固定下來的語音識別結果是否有更新，如果有，則反饋更新后的語音識別結果。本專利技術還提出了ー種利用上述語音識別結果實時反饋方法所確定下來的語音識別結果的長語音信號連續識別方法，其包括構建支持從句尾結束點到識別起始點的擴展路徑的解碼識別網絡；接收連續語音信號，根據所述解碼識別網絡對所述連續語音信號中的每ー幀進行解碼；其中，解碼時根據語調分析和靜音持續時間調整句尾結束點到識別起始點的跳轉概率；根據上述語音識別結果實時反饋方法定期獲取已經確定下來的語音識別結果，判斷當前時刻是否有作為獨立句子的識別結果；在確定當前時刻有作為獨立句子的識別結果時，對所述確定的獨立句子進行優化和輸出反饋；清理所述確定的獨立句子在所述解碼識別網絡中對應的解碼空間，以規整所述解碼識別網絡。本專利技術還提出了ー種語音識別結果實時反饋裝置，其包括歷史共有部分檢測單元，在識別的過程中，定期對目前所有活躍節點的歷史路徑的共有部分進行檢測；識別結果實時反饋單元，對檢測到的歷史路徑中的共有部分進行回溯，獲得該歷史路徑的共有部分上的語音識別結果，并將其作為當前時刻已經確定下來的語音識別結果，如果所述確定下來的語音識別結果有更新，則反饋更新后的語音識別結果。本專利技術還提出了ー種包括上述語音識別結果實時反饋裝置的長語音信號連續識別系統，包括網絡構建単元，用于構建支持從句尾結束點到識別起始點的擴展路徑的解碼識別網絡；解碼單元，用于接收連續語音信號，根據所述解碼識別網絡對所述連續語音信號中的每ー幀進行解碼；語音句子結束點輔助判斷単元，用于在解碼時根據語調分析和靜音持續時間調整句尾結束點到識別起始點的跳轉概率；上述語音識別結果實時反饋裝置；獨立句子判斷単元，用于定期從所述語音識別結果實時反饋裝置已經確定下來的語音識別結果，判斷當前時刻是否有作為獨立句子的識別結果；獨立句子處理單元，用于在確定當前時刻有作為獨立句子的識別結果時，對所述確定的獨立句子進行優化和輸出反饋；內存清理単元，用于清理所述確定的獨立句子在所述解碼識別網絡中對應的解碼空間，以規整所述解碼識別網絡。本專利技術實施例長語音連續識別及識別結果實時反饋方法和系統，采用在識別網絡中増加句尾結束點到識別起始點的擴展可能，使得在解碼過程中，識別路徑在擴展時既可以生成單一句子，也可以生成多個連續句子。所述方法通過聲學和語言概率的整體尋優來分割大篇幅語音信號，從而避免了對端點檢測算法的依賴。此外，采用定期對所有活躍節點的最優歷史路徑的共有部分進行檢測，實時更新已經固定下來的識別結果，既實現更快的人機交互，又解決了長語音識別時計算資源的動態回收，達到識別的可持續性。附圖說明圖1是本專利技術的語音識別結果實時反饋方法的流程圖；圖2是本專利技術實施例中確定活躍節點歷史路徑中的共有部分時采用的一種優化的回溯節點的方式；圖3是本專利技術實施例中通過記錄回溯節點的方式確定活躍節點歷史路徑中的共有部分及識別結果更新的流程圖；圖4是本專利技術實施例中采用的基于N-gram的語言模型示意圖；圖5是本專利技術實施例中増加了句尾結束點到識別起始點的擴展跳轉路徑的示意圖；圖6是本專利技術的長語音連續識別及識別結果實時反饋系統的結構示意圖。具體實施例方式為使本專利技術的目的、技術方案和優點更加清楚明白，以下結合具體實施例本文檔來自技高網...

【技術保護點】
一種語音識別結果實時反饋方法，其特征在于，包括：步驟1，在識別的過程中，定期對目前所有活躍節點的歷史路徑的共有部分進行檢測；步驟2，對檢測到的歷史路徑中的共有部分進行回溯，獲得該歷史路徑的共有部分上的語音識別結果，并將其作為當前時刻已經確定下來的語音識別結果；步驟3，判斷所述固定下來的語音識別結果是否有更新，如果有，則反饋更新后的語音識別結果。

【技術特征摘要】
1.一種語音識別結果實時反饋方法，其特征在于，包括步驟I，在識別的過程中，定期對目前所有活躍節點的歷史路徑的共有部分進行檢測；步驟2，對檢測到的歷史路徑中的共有部分進行回溯，獲得該歷史路徑的共有部分上的語音識別結果，并將其作為當前時刻已經確定下來的語音識別結果；步驟3，判斷所述固定下來的語音識別結果是否有更新，如果有，則反饋更新后的語音識別結果。2.如權利要求1所述的方法，其特征在于，所述共有部分指當前所有活躍節點的歷史路徑的相同部分。3.如權利要求1所述的方法，其特征在于，從當前時刻所有活躍節點出發對其歷史路徑進行回溯，記錄歷史路徑上的單詞序列；所有活躍節點都處理完畢之后，所獲得的所有單詞序列的交集，即為所述已經確定下來的語音識別結果。4.如權利要求1所述的方法，其特征在于，通過記錄回溯節點的方式確定活躍節點歷史路徑中的共有部分。5.如權利要求4所述的方法，其特征在于，在通過記錄回溯節點的方式確定活躍節點歷史路徑中的共有部分時，用于確定語音識別結果的具體方式為步驟a，獲取當前時刻解碼中所有活躍節點的集合；步驟b，設置回溯路徑節點交集為當前時刻最優歷史路徑上節點的集合；其中，獲取所述最優歷史路徑時，僅回溯到當前時刻的回溯截止點，初始時刻回溯截止點為解碼識別網絡的初始起始點；步驟C，從所述活躍節點集合中取出未進行過回溯的節點作為回溯節點，回溯其歷史路徑，直到首次遇到回溯路徑節點交集中的節點，然后將該節點作為重合節點記錄下來；步驟d，更新回溯路徑節點交集為所述回溯節點在其回溯路徑上所述重合節點之前的所有節點；步驟e，判斷活躍節點集合中是否仍有未回溯的節點；如果是，重新執行步驟c ;否則， 執行步驟f ;步驟f，從回溯路徑節點交集的尾節點回溯到回溯截止點，獲得從所述尾節點到所述回溯截止點的路徑上的單詞序列，并將所述回溯路徑節點交集的尾節點，作為新的回溯截止占.步驟g，判斷所述單詞序列是否不為空；如果不為空，則將所述單詞序列作為當前時刻已經確定下來的識別結果反饋給用戶。6.如權利要求1所述的方法，其特征在于，在語音識別過程中，判斷已經確定下來的語音識別結果對應的識別路徑是否跨越了解碼識別網絡中的句尾結束點，如果是，則認為有一個獨立的句子被確定了，并將該確定的獨立的句子對應的識別網絡中的各狀態及跳轉弧刪除，以重新規整所述解碼識別網絡。7...

【專利技術屬性】
技術研發人員：徐波，孟猛，高鵬，
申請(專利權)人：中國科學院自動化研究所，
類型：發明
國別省市：