基于語義增強(qiáng)的智能語音對(duì)話方法、裝置、設(shè)備及介質(zhì)制造方法及圖紙

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，揭示了一種基于語義增強(qiáng)的智能語音對(duì)話方法、裝置、設(shè)備及介質(zhì)，其中方法包括：將待識(shí)別的語音數(shù)據(jù)輸入預(yù)設(shè)的語音識(shí)別模型進(jìn)行語音轉(zhuǎn)換文本得到待分析的文本數(shù)據(jù)；將待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理得到糾錯(cuò)后的文本數(shù)據(jù)；將糾錯(cuò)后的文本數(shù)據(jù)輸入預(yù)設(shè)的意圖識(shí)別模型進(jìn)行意圖識(shí)別得到意圖識(shí)別結(jié)果；根據(jù)意圖識(shí)別結(jié)果和意圖與話術(shù)知識(shí)庫進(jìn)行匹配得到目標(biāo)回答文本數(shù)據(jù)；將目標(biāo)回答文本數(shù)據(jù)輸入預(yù)設(shè)的語音合成模型進(jìn)行文本轉(zhuǎn)換語音得到目標(biāo)回答語音數(shù)據(jù)。實(shí)現(xiàn)了在語音轉(zhuǎn)換文本后和意圖識(shí)別之間進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，提高了輸入預(yù)設(shè)的意圖識(shí)別模型的文本的準(zhǔn)確性。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于語義增強(qiáng)的智能語音對(duì)話方法、裝置、設(shè)備及介質(zhì)
本申請(qǐng)涉及到人工智能
，特別是涉及到一種基于語義增強(qiáng)的智能語音對(duì)話方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
智能語音對(duì)話能夠?qū)崟r(shí)將客戶輸入的語音轉(zhuǎn)換為文本，進(jìn)而根據(jù)轉(zhuǎn)換得到的文本識(shí)別出客戶意圖，根據(jù)客戶意圖進(jìn)行針對(duì)性話術(shù)，其具有廣泛的應(yīng)用場(chǎng)景，比如，智能語音對(duì)話用于智能助手、售前咨詢、售后服務(wù)以及產(chǎn)品銷售等。當(dāng)客戶通過輸入語音與智能語音對(duì)話系統(tǒng)交互時(shí)，如果客戶在輸入語音時(shí)出現(xiàn)噪聲大或吐字說話不清等情況，將降低語音轉(zhuǎn)換文本的正確率低，這就使得基于語音轉(zhuǎn)換得到的文本的意圖識(shí)別模型的效果一般，進(jìn)而影響智能語音對(duì)話系統(tǒng)的使用效果和客戶體驗(yàn)?，F(xiàn)有技術(shù)的語音轉(zhuǎn)換為文本的模型都是基于自左向右的單向語言模型，前面的詞決定后面生成的詞，這樣忽略了句子的整體意思，導(dǎo)致生成的文本存在一定的錯(cuò)誤。
技術(shù)實(shí)現(xiàn)思路
本申請(qǐng)的主要目的為提供一種基于語義增強(qiáng)的智能語音對(duì)話方法、裝置、設(shè)備及介質(zhì)，旨在解決現(xiàn)有技術(shù)的語音轉(zhuǎn)換為文本的模型都是基于自左向右的單向語言模型，因忽略了句子的整體意思，導(dǎo)致生成的文本存在錯(cuò)誤的技術(shù)問題。為了實(shí)現(xiàn)上述專利技術(shù)目的，本申請(qǐng)?zhí)岢鲆环N基于語義增強(qiáng)的智能語音對(duì)話方法，所述方法包括：獲取待識(shí)別的語音數(shù)據(jù)；將所述待識(shí)別的語音數(shù)據(jù)輸入預(yù)設(shè)的語音識(shí)別模型進(jìn)行語音轉(zhuǎn)換文本，得到待分析的文本數(shù)據(jù)；將所述待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)，其中，所述語義增強(qiáng)文本糾錯(cuò)模型是基于Bert模型和全連接層訓(xùn)練得到的模型；將所述糾錯(cuò)后的文本數(shù)據(jù)輸入預(yù)設(shè)的意圖識(shí)別模型進(jìn)行意圖識(shí)別，得到意圖識(shí)別結(jié)果；獲取意圖與話術(shù)知識(shí)庫，根據(jù)所述意圖識(shí)別結(jié)果和所述意圖與話術(shù)知識(shí)庫進(jìn)行匹配，得到目標(biāo)回答文本數(shù)據(jù)；將所述目標(biāo)回答文本數(shù)據(jù)輸入預(yù)設(shè)的語音合成模型進(jìn)行文本轉(zhuǎn)換語音，得到目標(biāo)回答語音數(shù)據(jù)。進(jìn)一步的，所述將所述待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)的步驟之前，還包括：獲取多個(gè)訓(xùn)練文本，所述多個(gè)訓(xùn)練文本中每個(gè)訓(xùn)練文本包括：文本樣本數(shù)據(jù)、文本標(biāo)定值和意圖標(biāo)定值，所述文本樣本數(shù)據(jù)是語音轉(zhuǎn)換文本得到的數(shù)據(jù)；從所述多個(gè)訓(xùn)練文本中獲取一個(gè)所述訓(xùn)練文本作為目標(biāo)訓(xùn)練文本；將所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)輸入初始模型進(jìn)行文本預(yù)測(cè)和意圖預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的文本預(yù)測(cè)值和意圖預(yù)測(cè)值，所述初始模型包括：文本預(yù)測(cè)模塊和意圖預(yù)測(cè)模塊，所述文本預(yù)測(cè)模塊是基于所述Bert模型得到的模塊，所述意圖預(yù)測(cè)模塊是基于所述全連接層得到的模塊；將所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述文本標(biāo)定值、所述意圖標(biāo)定值、所述文本預(yù)測(cè)值和所述意圖預(yù)測(cè)值輸入目標(biāo)損失函數(shù)進(jìn)行損失值計(jì)算，得到目標(biāo)損失值，根據(jù)所述目標(biāo)損失值更新所述初始模型的參數(shù)，將更新參數(shù)后的所述初始模型用于下一次計(jì)算所述文本預(yù)測(cè)值和所述意圖預(yù)測(cè)值；重復(fù)執(zhí)行所述從所述多個(gè)訓(xùn)練文本中獲取一個(gè)所述訓(xùn)練文本作為目標(biāo)訓(xùn)練文本的步驟，直至滿足預(yù)設(shè)的模型訓(xùn)練結(jié)束條件，將滿足所述預(yù)設(shè)的模型訓(xùn)練結(jié)束條件的所述初始模型的所述文本預(yù)測(cè)模塊作為所述語義增強(qiáng)文本糾錯(cuò)模型。進(jìn)一步的，所述訓(xùn)練文本中的文本樣本數(shù)據(jù)的語音轉(zhuǎn)換文本錯(cuò)誤率小于錯(cuò)誤率閾值。進(jìn)一步的，所述將所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)輸入初始模型進(jìn)行文本預(yù)測(cè)和意圖預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的文本預(yù)測(cè)值和意圖預(yù)測(cè)值的步驟，包括：獲取編碼字典；根據(jù)所述編碼字典對(duì)所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)進(jìn)行編碼序列化處理，得到目標(biāo)編碼序列；將所述目標(biāo)編碼序列輸入所述初始模型進(jìn)行文本預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述文本預(yù)測(cè)值；采用所述初始模型，對(duì)所述文本預(yù)測(cè)值進(jìn)行意圖預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述意圖預(yù)測(cè)值。進(jìn)一步的，所述根據(jù)所述編碼字典對(duì)所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)進(jìn)行編碼序列化處理，得到目標(biāo)編碼序列的步驟，包括：分別將所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)中的每個(gè)字符在所述編碼字典中進(jìn)行查找，得到所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)對(duì)應(yīng)的待處理編碼集合；根據(jù)所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)的字符順序，對(duì)所述待處理編碼集合進(jìn)行序列生成，得到所述目標(biāo)編碼序列。進(jìn)一步的，所述將所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述文本標(biāo)定值、所述意圖標(biāo)定值、所述文本預(yù)測(cè)值和所述意圖預(yù)測(cè)值輸入目標(biāo)損失函數(shù)進(jìn)行損失值計(jì)算，得到目標(biāo)損失值的步驟，包括：將所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述文本標(biāo)定值和所述文本預(yù)測(cè)值輸入第一損失函數(shù)進(jìn)行損失值計(jì)算，得到第一損失值；將所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述意圖標(biāo)定值和所述意圖預(yù)測(cè)值輸入第二損失函數(shù)進(jìn)行損失值計(jì)算，得到第二損失值；根據(jù)所述第一損失值和所述第二損失值進(jìn)行總損失值計(jì)算，得到所述目標(biāo)損失值。進(jìn)一步的，所述目標(biāo)損失值的計(jì)算公式L3為：L3＝L2+λ*L1其中，L1是所述第一損失值，L2是所述第二損失值，λ是常量。本申請(qǐng)還提出了一種基于語義增強(qiáng)的智能語音對(duì)話裝置，所述裝置包括：數(shù)據(jù)獲取模塊，用于獲取待識(shí)別的語音數(shù)據(jù)；待分析的文本數(shù)據(jù)確定模塊，用于將所述待識(shí)別的語音數(shù)據(jù)輸入預(yù)設(shè)的語音識(shí)別模型進(jìn)行語音轉(zhuǎn)換文本，得到待分析的文本數(shù)據(jù)；糾錯(cuò)后的文本數(shù)據(jù)確定模塊，用于將所述待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)，其中，所述語義增強(qiáng)文本糾錯(cuò)模型是基于Bert模型和全連接層訓(xùn)練得到的模型；意圖識(shí)別結(jié)果確定模塊，用于將所述糾錯(cuò)后的文本數(shù)據(jù)輸入預(yù)設(shè)的意圖識(shí)別模型進(jìn)行意圖識(shí)別，得到意圖識(shí)別結(jié)果；目標(biāo)回答文本數(shù)據(jù)確定模塊，用于獲取意圖與話術(shù)知識(shí)庫，根據(jù)所述意圖識(shí)別結(jié)果和所述意圖與話術(shù)知識(shí)庫進(jìn)行匹配，得到目標(biāo)回答文本數(shù)據(jù)；目標(biāo)回答語音數(shù)據(jù)確定模塊，用于將所述目標(biāo)回答文本數(shù)據(jù)輸入預(yù)設(shè)的語音合成模型進(jìn)行文本轉(zhuǎn)換語音，得到目標(biāo)回答語音數(shù)據(jù)。本申請(qǐng)還提出了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法的步驟。本申請(qǐng)還提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的方法的步驟。本申請(qǐng)的基于語義增強(qiáng)的智能語音對(duì)話方法、裝置、設(shè)備及介質(zhì)，通過首先將待識(shí)別的語音數(shù)據(jù)輸入預(yù)設(shè)的語音識(shí)別模型進(jìn)行語音轉(zhuǎn)換文本，得到待分析的文本數(shù)據(jù)，其次將待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)，然后將糾錯(cuò)后的文本數(shù)據(jù)輸入預(yù)設(shè)的意圖識(shí)別模型進(jìn)行意圖識(shí)別，得到意圖識(shí)別結(jié)果，根據(jù)意圖識(shí)別結(jié)果和意圖與話術(shù)知識(shí)庫進(jìn)行匹配，得到目標(biāo)回答文本數(shù)據(jù)，最后將目標(biāo)回答文本數(shù)據(jù)輸入預(yù)設(shè)的語音合成模型進(jìn)行文本轉(zhuǎn)換語音，得到目標(biāo)回答語音數(shù)據(jù)，實(shí)現(xiàn)了在語音轉(zhuǎn)換文本后和意圖識(shí)別之間進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，提高了輸入預(yù)設(shè)的意圖識(shí)別模型的文本的準(zhǔn)確性；因語義增強(qiáng)文本糾錯(cuò)模型是基于B本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種基于語義增強(qiáng)的智能語音對(duì)話方法，其特征在于，所述方法包括：/n獲取待識(shí)別的語音數(shù)據(jù)；/n將所述待識(shí)別的語音數(shù)據(jù)輸入預(yù)設(shè)的語音識(shí)別模型進(jìn)行語音轉(zhuǎn)換文本，得到待分析的文本數(shù)據(jù)；/n將所述待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)，其中，所述語義增強(qiáng)文本糾錯(cuò)模型是基于Bert模型和全連接層訓(xùn)練得到的模型；/n將所述糾錯(cuò)后的文本數(shù)據(jù)輸入預(yù)設(shè)的意圖識(shí)別模型進(jìn)行意圖識(shí)別，得到意圖識(shí)別結(jié)果；/n獲取意圖與話術(shù)知識(shí)庫，根據(jù)所述意圖識(shí)別結(jié)果和所述意圖與話術(shù)知識(shí)庫進(jìn)行匹配，得到目標(biāo)回答文本數(shù)據(jù)；/n將所述目標(biāo)回答文本數(shù)據(jù)輸入預(yù)設(shè)的語音合成模型進(jìn)行文本轉(zhuǎn)換語音，得到目標(biāo)回答語音數(shù)據(jù)。/n

【技術(shù)特征摘要】
1.一種基于語義增強(qiáng)的智能語音對(duì)話方法，其特征在于，所述方法包括：
獲取待識(shí)別的語音數(shù)據(jù)；
將所述待識(shí)別的語音數(shù)據(jù)輸入預(yù)設(shè)的語音識(shí)別模型進(jìn)行語音轉(zhuǎn)換文本，得到待分析的文本數(shù)據(jù)；
將所述待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)，其中，所述語義增強(qiáng)文本糾錯(cuò)模型是基于Bert模型和全連接層訓(xùn)練得到的模型；
將所述糾錯(cuò)后的文本數(shù)據(jù)輸入預(yù)設(shè)的意圖識(shí)別模型進(jìn)行意圖識(shí)別，得到意圖識(shí)別結(jié)果；
獲取意圖與話術(shù)知識(shí)庫，根據(jù)所述意圖識(shí)別結(jié)果和所述意圖與話術(shù)知識(shí)庫進(jìn)行匹配，得到目標(biāo)回答文本數(shù)據(jù)；
將所述目標(biāo)回答文本數(shù)據(jù)輸入預(yù)設(shè)的語音合成模型進(jìn)行文本轉(zhuǎn)換語音，得到目標(biāo)回答語音數(shù)據(jù)。


2.根據(jù)權(quán)利要求1所述的基于語義增強(qiáng)的智能語音對(duì)話方法，其特征在于，所述將所述待分析的文本數(shù)據(jù)輸入語義增強(qiáng)文本糾錯(cuò)模型進(jìn)行語義增強(qiáng)和糾錯(cuò)處理，得到糾錯(cuò)后的文本數(shù)據(jù)的步驟之前，還包括：
獲取多個(gè)訓(xùn)練文本，所述多個(gè)訓(xùn)練文本中每個(gè)訓(xùn)練文本包括：文本樣本數(shù)據(jù)、文本標(biāo)定值和意圖標(biāo)定值，所述文本樣本數(shù)據(jù)是語音轉(zhuǎn)換文本得到的數(shù)據(jù)；
從所述多個(gè)訓(xùn)練文本中獲取一個(gè)所述訓(xùn)練文本作為目標(biāo)訓(xùn)練文本；
將所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)輸入初始模型進(jìn)行文本預(yù)測(cè)和意圖預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的文本預(yù)測(cè)值和意圖預(yù)測(cè)值，所述初始模型包括：文本預(yù)測(cè)模塊和意圖預(yù)測(cè)模塊，所述文本預(yù)測(cè)模塊是基于所述Bert模型得到的模塊，所述意圖預(yù)測(cè)模塊是基于所述全連接層得到的模塊；
將所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述文本標(biāo)定值、所述意圖標(biāo)定值、所述文本預(yù)測(cè)值和所述意圖預(yù)測(cè)值輸入目標(biāo)損失函數(shù)進(jìn)行損失值計(jì)算，得到目標(biāo)損失值，根據(jù)所述目標(biāo)損失值更新所述初始模型的參數(shù)，將更新參數(shù)后的所述初始模型用于下一次計(jì)算所述文本預(yù)測(cè)值和所述意圖預(yù)測(cè)值；
重復(fù)執(zhí)行所述從所述多個(gè)訓(xùn)練文本中獲取一個(gè)所述訓(xùn)練文本作為目標(biāo)訓(xùn)練文本的步驟，直至滿足預(yù)設(shè)的模型訓(xùn)練結(jié)束條件，將滿足所述預(yù)設(shè)的模型訓(xùn)練結(jié)束條件的所述初始模型的所述文本預(yù)測(cè)模塊作為所述語義增強(qiáng)文本糾錯(cuò)模型。


3.根據(jù)權(quán)利要求2所述的基于語義增強(qiáng)的智能語音對(duì)話方法，其特征在于，所述訓(xùn)練文本中的文本樣本數(shù)據(jù)的語音轉(zhuǎn)換文本錯(cuò)誤率小于錯(cuò)誤率閾值。


4.根據(jù)權(quán)利要求2所述的基于語義增強(qiáng)的智能語音對(duì)話方法，其特征在于，所述將所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)輸入初始模型進(jìn)行文本預(yù)測(cè)和意圖預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的文本預(yù)測(cè)值和意圖預(yù)測(cè)值的步驟，包括：
獲取編碼字典；
根據(jù)所述編碼字典對(duì)所述目標(biāo)訓(xùn)練文本的所述文本樣本數(shù)據(jù)進(jìn)行編碼序列化處理，得到目標(biāo)編碼序列；
將所述目標(biāo)編碼序列輸入所述初始模型進(jìn)行文本預(yù)測(cè)，得到所述目標(biāo)訓(xùn)練文本對(duì)應(yīng)的所述文本預(yù)測(cè)值；
采用所述初始模型，對(duì)所述文本預(yù)測(cè)值...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：錢先洋，
申請(qǐng)(專利權(quán))人：平安普惠企業(yè)管理有限公司，
類型：發(fā)明
國別省市：廣東;44