一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法技術(shù)

本發(fā)明專(zhuān)利技術(shù)提供了一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，所述方法包括：Web引擎獲得網(wǎng)頁(yè)地址，調(diào)用JavaScript擴(kuò)展解析網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽；獲取網(wǎng)頁(yè)中的所有標(biāo)簽的信息；對(duì)每一個(gè)標(biāo)簽分配唯一操作標(biāo)識(shí)，形成二元組集合；根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，為每個(gè)標(biāo)簽添加對(duì)應(yīng)的操作標(biāo)識(shí)；用戶根據(jù)網(wǎng)頁(yè)操作標(biāo)識(shí)說(shuō)出關(guān)鍵詞，將該關(guān)鍵詞通過(guò)語(yǔ)音引擎解析成文本，將解析出的文本與二元組集合中的標(biāo)識(shí)進(jìn)行匹配，獲取文本對(duì)應(yīng)的匹配標(biāo)識(shí)；Web引擎通過(guò)調(diào)用JavaScript腳本，觸發(fā)匹配標(biāo)識(shí)對(duì)應(yīng)的事件函數(shù)或超鏈接跳轉(zhuǎn)。本發(fā)明專(zhuān)利技術(shù)的方法不需要觸發(fā)額外鼠標(biāo)點(diǎn)擊事件，能夠縮短響應(yīng)時(shí)間，提高處理速度，增強(qiáng)用戶體驗(yàn)。

A method of Web page voice manipulation based on JavaScript extension

The present invention provides a method for realizing voice control Web page based on the extension of JavaScript, the method comprises the following steps: Web engine web address, call the JavaScript extension analysis \, contains event attribute label page and hyperlink tag; get all the information in the web page; assigned to identify each operation only the label, form two set of tuples; according to the type of label for each label, add the corresponding operation according to the user identity for each label; web operation identifies the key words speak the key words, through the voice into text analysis engine, matching text analysis with the two set of tuples in the identification, acquisition, identification text corresponding to the Web; by calling the JavaScript script engine, matching the corresponding event trigger identification function or hyperlink jump. The method of the invention does not need to trigger additional mouse click events, thereby shortening the response time, improving the processing speed and enhancing the user experience.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法
本專(zhuān)利技術(shù)涉及Web引擎
，具體涉及一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法。
技術(shù)介紹
隨著語(yǔ)音識(shí)別技術(shù)的飛速發(fā)展，越來(lái)越多的Web應(yīng)用和智能設(shè)備集成了語(yǔ)音功能模塊，方便了人們的生活。在將語(yǔ)音識(shí)別功能加入到網(wǎng)頁(yè)瀏覽中的時(shí)候，存在的問(wèn)題是，如何高效地解析網(wǎng)頁(yè)中的超鏈接標(biāo)簽，并通過(guò)語(yǔ)音控制超鏈接的跳轉(zhuǎn)進(jìn)行網(wǎng)頁(yè)瀏覽。在現(xiàn)有的應(yīng)用中，采取的一般做法是語(yǔ)音引擎的啟動(dòng)與網(wǎng)頁(yè)的加載同時(shí)進(jìn)行，在獲取網(wǎng)頁(yè)中標(biāo)簽的同時(shí)綁定唯一的語(yǔ)音文本標(biāo)簽，在用戶說(shuō)出相應(yīng)的文本標(biāo)簽后，再計(jì)算該文本在設(shè)備屏幕上的坐標(biāo)，并向該坐標(biāo)發(fā)送點(diǎn)擊事件實(shí)現(xiàn)鏈接跳轉(zhuǎn)達(dá)到網(wǎng)頁(yè)瀏覽。上述方法存在的問(wèn)題是，在向網(wǎng)頁(yè)標(biāo)簽發(fā)送點(diǎn)擊事件之前，需要先計(jì)算該標(biāo)簽在屏幕中的坐標(biāo)，每次當(dāng)頁(yè)面發(fā)生變化都需要計(jì)算一次，這種方法還需要調(diào)用系統(tǒng)的鼠標(biāo)點(diǎn)擊功能來(lái)觸發(fā)相關(guān)操作，而額外向設(shè)備申請(qǐng)計(jì)算資源和使用系統(tǒng)功能，會(huì)顯著降低超鏈接的跳轉(zhuǎn)速度，影響用戶體驗(yàn)。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)的目的在于克服目前Web頁(yè)面實(shí)現(xiàn)語(yǔ)音操控時(shí)存在的上述問(wèn)題，提出一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，該方法使用JavaScript腳本完成語(yǔ)音控制，不觸發(fā)額外的鼠標(biāo)點(diǎn)擊事件，無(wú)須計(jì)算標(biāo)簽所在屏幕坐標(biāo)，提高了處理速度。為了實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)提供了一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，所述方法包括：Web引擎獲得網(wǎng)頁(yè)地址，調(diào)用JavaScript擴(kuò)展解析網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽；獲取網(wǎng)頁(yè)中的所有標(biāo)簽的信息；對(duì)每一個(gè)標(biāo)簽分配唯一操作標(biāo)識(shí)，形成二元組集合；根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，為每個(gè)標(biāo)簽添加對(duì)應(yīng)的操作標(biāo)識(shí)；用戶根據(jù)網(wǎng)頁(yè)操作標(biāo)識(shí)說(shuō)出關(guān)鍵詞，將該關(guān)鍵詞通過(guò)語(yǔ)音引擎解析成文本，將解析出的文本與二元組集合中的標(biāo)識(shí)進(jìn)行匹配，獲取文本對(duì)應(yīng)的匹配標(biāo)識(shí)；Web引擎通過(guò)調(diào)用JavaScript腳本，觸發(fā)匹配標(biāo)識(shí)對(duì)應(yīng)的事件函數(shù)或超鏈接跳轉(zhuǎn)。上述技術(shù)方案中，所述方法具體包括：步驟1)預(yù)先定義實(shí)現(xiàn)語(yǔ)音操控的JavaScript腳本，將該腳本注入到WebView中，WebView獲得網(wǎng)頁(yè)地址并加載網(wǎng)頁(yè)；通過(guò)調(diào)用JavaScript腳本解析該網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽，并用prompt方法攜帶標(biāo)簽信息以對(duì)話框形式在網(wǎng)頁(yè)中依次彈出；步驟2)WebView依次捕獲用JavaScript腳本中prompt方法產(chǎn)生的對(duì)話框，提取出網(wǎng)頁(yè)中各標(biāo)簽的信息并識(shí)別標(biāo)簽類(lèi)型；對(duì)每一個(gè)標(biāo)簽分配唯一操作標(biāo)識(shí)，形成二元組集合；步驟3)根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，在網(wǎng)頁(yè)中為每個(gè)標(biāo)簽添加對(duì)應(yīng)的操作標(biāo)識(shí)；所述操作標(biāo)識(shí)包括：事件、操作目標(biāo)和用戶可視化的描述；步驟4)用戶根據(jù)網(wǎng)頁(yè)操作標(biāo)識(shí)說(shuō)出關(guān)鍵詞，將該關(guān)鍵詞通過(guò)語(yǔ)音引擎解析成文本，將解析出的文本與二元組集合中的操作標(biāo)識(shí)進(jìn)行匹配，獲取文本對(duì)應(yīng)的匹配標(biāo)識(shí)；步驟5)Web引擎通過(guò)調(diào)用JavaScript腳本，觸發(fā)匹配標(biāo)識(shí)對(duì)應(yīng)的事件函數(shù)或超鏈接跳轉(zhuǎn)。上述技術(shù)方案中，所述步驟1)具體包括：步驟1-1)預(yù)先定義實(shí)現(xiàn)語(yǔ)音操控的JavaScript腳本，將該腳本加載到WebView中；步驟1-2)調(diào)用WebView的setWebViewClient方法向WebView注入WebViewClient類(lèi)對(duì)象，并把加載JavaScript腳本的代碼添加到類(lèi)中的onPageFinished方法中；步驟1-3)當(dāng)WebView加載網(wǎng)頁(yè)完畢后即觸發(fā)onPageFinished方法，調(diào)用腳本解析網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽，以標(biāo)簽為單位將標(biāo)簽信息傳入prompt方法，prompt方法作為從網(wǎng)頁(yè)向外傳遞標(biāo)簽信息的媒介，在網(wǎng)頁(yè)中彈出帶有提示信息的對(duì)話框。上述技術(shù)方案中，所述步驟2)具體包括：步驟2-1)JavaScript調(diào)用WebView的setWebChromeClient方法注入WebChromeClient類(lèi)對(duì)象，重寫(xiě)類(lèi)成員函數(shù)onJsPrompt，監(jiān)聽(tīng)網(wǎng)頁(yè)中的prompt對(duì)話框，如果prompt方法彈出提示對(duì)話框，WebView依次捕獲prompt方法產(chǎn)生的對(duì)話框，提取出各標(biāo)簽的id，tag，class和text信息；步驟2-2)識(shí)別每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型：超鏈接標(biāo)簽和事件屬性標(biāo)簽；步驟2-3)根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，為每個(gè)標(biāo)簽生成二元組。上述技術(shù)方案中，所述步驟2-2)中的事件屬性標(biāo)簽包括：具有onsubmit事件<Form>標(biāo)簽，具有onplay事件、onplaying事件、onpause事件的<audio>、<embed>、<img>、<object>以及<video>媒體標(biāo)簽，具有onkeydown事件、onclick事件、ondblcick事件的<a>、<body>、<button>、<form>、<img>、<input>、<span>、<table>、<tbody>標(biāo)簽。上述技術(shù)方案中，所述步驟2-2)中的超鏈接標(biāo)簽指的是具有href屬性的<a>標(biāo)簽。上述技術(shù)方案中，所述步驟2-3)的具體實(shí)現(xiàn)過(guò)程為：如果標(biāo)簽為超鏈接標(biāo)簽，生成的二元組為：(超鏈接標(biāo)識(shí)，超鏈接)，其中超鏈接標(biāo)識(shí)直接使用標(biāo)簽的text信息；如果標(biāo)簽的類(lèi)型為事件屬性，由于其text信息內(nèi)容為空，需要對(duì)text進(jìn)行自定義：定義為頁(yè)面內(nèi)唯一的事件名字描述標(biāo)識(shí)text；事件屬性標(biāo)簽生成的二元組為：(唯一的事件名字描述標(biāo)識(shí)，事件函數(shù))。上述技術(shù)方案中，所述步驟3)的具體實(shí)現(xiàn)過(guò)程為：通過(guò)JavaScript腳本，將唯一操作標(biāo)識(shí)封裝成可見(jiàn)的html代碼片段，并將該片段寫(xiě)入到html對(duì)應(yīng)標(biāo)簽的前方、后方或標(biāo)簽內(nèi)部，向具有事件屬性的標(biāo)簽添加text標(biāo)識(shí)。本專(zhuān)利技術(shù)的優(yōu)點(diǎn)在于：本專(zhuān)利技術(shù)的方法不需要觸發(fā)額外鼠標(biāo)點(diǎn)擊事件，能夠縮短響應(yīng)時(shí)間，提高處理速度，增強(qiáng)用戶體驗(yàn)。附圖說(shuō)明圖1為本專(zhuān)利技術(shù)的基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法的流程圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施例對(duì)本專(zhuān)利技術(shù)的方法做進(jìn)一步的說(shuō)明。本實(shí)施例為：基于Android平臺(tái)的WebView組件和訊飛語(yǔ)音云的語(yǔ)音識(shí)別引擎，實(shí)現(xiàn)語(yǔ)音控制網(wǎng)頁(yè)瀏覽。如圖1所示，一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，所述方法包括：步驟1)預(yù)先定義實(shí)現(xiàn)語(yǔ)音操控的JavaScript腳本，將該腳本注入到WebView中，WebView獲得網(wǎng)頁(yè)地址并加載網(wǎng)頁(yè)；通過(guò)調(diào)用JavaScript腳本解析該網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽；并用prompt方法攜帶標(biāo)簽信息以對(duì)話框形式在網(wǎng)頁(yè)中依次彈出；具體包括：步驟1-1)預(yù)先定義實(shí)現(xiàn)語(yǔ)音操控的JavaScript腳本，將該腳本加載到WebView中；步驟1-2)調(diào)用WebView的setWebViewClient方法向WebView注入WebViewClient類(lèi)對(duì)象，并把加載JavaScript腳本的代碼添加到類(lèi)中的onPageFinished方法中；步驟1-3)當(dāng)WebVie本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，所述方法包括：Web引擎獲得網(wǎng)頁(yè)地址，調(diào)用JavaScript擴(kuò)展解析網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽；獲取網(wǎng)頁(yè)中的所有標(biāo)簽的信息；對(duì)每一個(gè)標(biāo)簽分配唯一操作標(biāo)識(shí)，形成二元組集合；根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，為每個(gè)標(biāo)簽添加對(duì)應(yīng)的操作標(biāo)識(shí)；用戶根據(jù)網(wǎng)頁(yè)操作標(biāo)識(shí)說(shuō)出關(guān)鍵詞，將該關(guān)鍵詞通過(guò)語(yǔ)音引擎解析成文本，將解析出的文本與二元組集合中的標(biāo)識(shí)進(jìn)行匹配，獲取文本對(duì)應(yīng)的匹配標(biāo)識(shí)；Web引擎通過(guò)調(diào)用JavaScript腳本，觸發(fā)匹配標(biāo)識(shí)對(duì)應(yīng)的事件函數(shù)或超鏈接跳轉(zhuǎn)。

【技術(shù)特征摘要】
1.一種基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，所述方法包括：Web引擎獲得網(wǎng)頁(yè)地址，調(diào)用JavaScript擴(kuò)展解析網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽；獲取網(wǎng)頁(yè)中的所有標(biāo)簽的信息；對(duì)每一個(gè)標(biāo)簽分配唯一操作標(biāo)識(shí)，形成二元組集合；根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，為每個(gè)標(biāo)簽添加對(duì)應(yīng)的操作標(biāo)識(shí)；用戶根據(jù)網(wǎng)頁(yè)操作標(biāo)識(shí)說(shuō)出關(guān)鍵詞，將該關(guān)鍵詞通過(guò)語(yǔ)音引擎解析成文本，將解析出的文本與二元組集合中的標(biāo)識(shí)進(jìn)行匹配，獲取文本對(duì)應(yīng)的匹配標(biāo)識(shí)；Web引擎通過(guò)調(diào)用JavaScript腳本，觸發(fā)匹配標(biāo)識(shí)對(duì)應(yīng)的事件函數(shù)或超鏈接跳轉(zhuǎn)。2.根據(jù)權(quán)利要求1所述的基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，其特征在于，所述方法具體包括：步驟1)預(yù)先定義實(shí)現(xiàn)語(yǔ)音操控的JavaScript腳本，將該腳本注入到WebView中，WebView獲得網(wǎng)頁(yè)地址并加載網(wǎng)頁(yè)；通過(guò)調(diào)用JavaScript腳本解析該網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽；并用prompt方法攜帶標(biāo)簽信息以對(duì)話框形式在網(wǎng)頁(yè)中依次彈出；步驟2)WebView依次捕獲用JavaScript腳本中prompt方法產(chǎn)生的對(duì)話框，提取出網(wǎng)頁(yè)中各標(biāo)簽的信息并識(shí)別標(biāo)簽類(lèi)型；對(duì)每一個(gè)標(biāo)簽分配唯一操作標(biāo)識(shí)，形成二元組集合；步驟3)根據(jù)每個(gè)標(biāo)簽的標(biāo)簽類(lèi)型，在網(wǎng)頁(yè)中為每個(gè)標(biāo)簽添加對(duì)應(yīng)的操作標(biāo)識(shí)；所述操作標(biāo)識(shí)包括：事件、操作目標(biāo)和用戶可視化的描述；步驟4)用戶根據(jù)網(wǎng)頁(yè)操作標(biāo)識(shí)說(shuō)出關(guān)鍵詞，將該關(guān)鍵詞通過(guò)語(yǔ)音引擎解析成文本，將解析出的文本與二元組集合中的操作標(biāo)識(shí)進(jìn)行匹配，獲取文本對(duì)應(yīng)的匹配標(biāo)識(shí)；步驟5)Web引擎通過(guò)調(diào)用JavaScript腳本，觸發(fā)匹配標(biāo)識(shí)對(duì)應(yīng)的事件函數(shù)或超鏈接跳轉(zhuǎn)。3.根據(jù)權(quán)利要求2所述的基于JavaScript擴(kuò)展的Web頁(yè)面語(yǔ)音操控實(shí)現(xiàn)方法，其特征在于，所述步驟1)具體包括：步驟1-1)預(yù)先定義實(shí)現(xiàn)語(yǔ)音操控的JavaScript腳本，將該腳本加載到WebView中；步驟1-2)調(diào)用WebView的setWebViewClient方法向WebView注入WebViewClient類(lèi)對(duì)象，并把加載JavaScript腳本的代碼添加到類(lèi)中的onPageFinished方法中；驟1-3)當(dāng)WebView加載網(wǎng)頁(yè)完畢后即觸發(fā)onPageFinished方法，調(diào)用腳本解析網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)中包含事件屬性的標(biāo)簽和超鏈接標(biāo)簽，以標(biāo)簽為單位將標(biāo)簽信息傳入prompt方法，prompt方法作為從網(wǎng)頁(yè)向外傳遞標(biāo)簽信息的媒介，在網(wǎng)頁(yè)中彈出帶有提示信息的對(duì)話框。4.根據(jù)權(quán)利要求2所述的基...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：黨壽江，李強(qiáng)，脫立恒，李超鵬，
申請(qǐng)(專(zhuān)利權(quán))人：中國(guó)科學(xué)院聲學(xué)研究所，
類(lèi)型：發(fā)明
國(guó)別省市：北京,11