本發(fā)明專利技術(shù)涉及一種基于自然人機(jī)交互的二維數(shù)據(jù)對(duì)象控制系統(tǒng)及其方法，其中系統(tǒng)包括自然人機(jī)交互設(shè)備、計(jì)算機(jī)數(shù)據(jù)庫(kù)、場(chǎng)景控制模塊、角色控制模塊和計(jì)算機(jī)顯示輸出裝置；方法包括：根據(jù)場(chǎng)景切換控制指令和時(shí)間順序依次顯示數(shù)字化場(chǎng)景及其二維數(shù)據(jù)對(duì)象；根據(jù)每個(gè)場(chǎng)景中的從自然人機(jī)交互設(shè)備獲取的角色控制指令動(dòng)態(tài)顯示對(duì)應(yīng)二維數(shù)據(jù)對(duì)象的動(dòng)態(tài)演示數(shù)據(jù)或言語(yǔ)動(dòng)畫數(shù)據(jù)，其中：每一場(chǎng)景中用戶通過(guò)人機(jī)交互設(shè)備輸入的控制指令與二維數(shù)據(jù)對(duì)象有明確的對(duì)應(yīng)關(guān)系。應(yīng)用本發(fā)明專利技術(shù)可允許用戶依故事情節(jié)做出各種肢體動(dòng)作進(jìn)行表演同時(shí)利用人機(jī)交互設(shè)備控制故事中的數(shù)字化角色對(duì)象做出相應(yīng)動(dòng)作，從而促進(jìn)兒童的語(yǔ)言表達(dá)能力、肢體表達(dá)能力、創(chuàng)造力和想象力。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)輔助表演和兒童講故事表演，具體涉及一種基于自然人機(jī)交互 的二維數(shù)據(jù)對(duì)象控制方法。
技術(shù)介紹
(一 )人機(jī)交互技術(shù)的研究進(jìn)展及應(yīng)用自然人機(jī)交互技術(shù)應(yīng)用非常廣泛，可以說(shuō)有計(jì)算機(jī)系統(tǒng)的地方就有人機(jī)交互。人 機(jī)交互技術(shù)，要以人為本，無(wú)論如何發(fā)展，最終都要以用戶為中心。所謂自然，就是要滿足人 的自然屬性，這種屬性應(yīng)該是具有人的習(xí)慣和本質(zhì)的精神屬性。自然人機(jī)交互的目的，就是 要最大限度地方便人類對(duì)于產(chǎn)品的使用，從而減少使用產(chǎn)品的過(guò)程中可能帶來(lái)的混亂與復(fù) 雜，而不是讓人為了產(chǎn)品去改變?cè)械牧?xí)慣。人與人的交流可以通過(guò)語(yǔ)言、手勢(shì)、眼神、動(dòng)作 等，自然人機(jī)交互的發(fā)展方向就是通過(guò)人的這些最自然習(xí)慣來(lái)實(shí)現(xiàn)人機(jī)交互。因此，語(yǔ)音識(shí) 別技術(shù)、手勢(shì)識(shí)別技術(shù)、人臉識(shí)別技術(shù)、視線跟蹤技術(shù)、人體動(dòng)作識(shí)別技術(shù)等成為當(dāng)前人機(jī) 交互技術(shù)的重要研究?jī)?nèi)容。語(yǔ)音識(shí)別技術(shù)就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或 命令的高技術(shù)，也就是讓機(jī)器聽(tīng)懂人類的語(yǔ)音。語(yǔ)音識(shí)別系統(tǒng)不需要對(duì)用戶進(jìn)行特殊的說(shuō) 明，用人最自然的方式進(jìn)行人機(jī)交互，并且這種方式無(wú)需記憶、使用方便，設(shè)備造價(jià)低廉。語(yǔ) 音識(shí)別技術(shù)有許多優(yōu)點(diǎn)，同時(shí)也面臨許多困難，主要表現(xiàn)在語(yǔ)音識(shí)別對(duì)環(huán)境依賴性強(qiáng)，當(dāng) 人聲發(fā)生很大變化、不同人的語(yǔ)音、說(shuō)話方式、環(huán)境噪音等等，都會(huì)給識(shí)別帶來(lái)困難。雖然語(yǔ) 音識(shí)別技術(shù)還面臨許多困難，但它可以將手工操作的工作用語(yǔ)音命令控制完成，可廣泛用 戶家電語(yǔ)音遙控、玩具、智能儀器及移動(dòng)電話等便攜設(shè)備中。手勢(shì)識(shí)別技術(shù)就是通過(guò)手或者手和手臂結(jié)合所產(chǎn)生的各種姿勢(shì)和動(dòng)作，進(jìn)行人機(jī) 交互。手勢(shì)識(shí)別系統(tǒng)可分為基于數(shù)據(jù)手套的手勢(shì)識(shí)別和基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)。基于數(shù) 據(jù)手套的手勢(shì)識(shí)別系統(tǒng)，識(shí)別率高但設(shè)備昂貴。基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)，輸入設(shè)備比較便 宜，能夠使用戶更加自然地進(jìn)行人機(jī)交互，但手的運(yùn)動(dòng)速度、手勢(shì)變換的速度都會(huì)影響到手 勢(shì)識(shí)別系統(tǒng)的準(zhǔn)確率，同時(shí)手在各種不同背景、環(huán)境下也大大的增加了手勢(shì)識(shí)別的難度。人臉識(shí)別技術(shù)就是指利用計(jì)算機(jī)技術(shù)對(duì)包含人臉的靜止圖像或視頻尋列圖像進(jìn) 行分析，從中提取人臉的個(gè)性化特征，并以此自動(dòng)識(shí)別出人的身份。以隱蔽操作，采用非接 觸式采集，沒(méi)有侵犯性，可保存當(dāng)事人的面像具有方便、快捷、強(qiáng)大的事后追蹤能力，圖像采 集設(shè)備成本低，符合人類的識(shí)別習(xí)慣，交互性強(qiáng)且不易仿冒。但當(dāng)人臉發(fā)生較大的變化時(shí)， 就很難識(shí)別。視線跟蹤技術(shù)就是采用一定眼動(dòng)信號(hào)檢測(cè)設(shè)備及視線跟蹤算法監(jiān)視人眼運(yùn)動(dòng)，為 用戶應(yīng)用系統(tǒng)提供必要精度的人眼狀態(tài)信息。它可通過(guò)最直接、最自然的方式讓人與機(jī)器 進(jìn)行交互，行動(dòng)不方便的人通過(guò)這種方式可以進(jìn)行正常的人機(jī)交互。雖然視線跟蹤技術(shù)有 著誘人的前景，但是視線跟蹤技術(shù)還處于起步階段，還未達(dá)到實(shí)用化階段。人體動(dòng)作識(shí)別就是通過(guò)人體的姿態(tài)和動(dòng)作過(guò)程的識(shí)別，進(jìn)行人機(jī)交互。人體動(dòng)作識(shí)別通過(guò)人的自然地肢體語(yǔ)言進(jìn)行交互，不需要特定的儀器和規(guī)定，輸入設(shè)備比較便宜。但 是，受到動(dòng)作的速度、視角、光照等環(huán)境因素的不同，準(zhǔn)確度不同。自然人機(jī)交互技術(shù)應(yīng)用越來(lái)越廣泛，尤其是在電子游戲和教育軟件中的應(yīng)用。電 子游戲最開(kāi)始的輸入方式來(lái)自于計(jì)算計(jì)鍵盤，后來(lái)衍生出的專業(yè)電子游戲機(jī)以手柄或操作 臺(tái)的形式來(lái)進(jìn)行電子游戲內(nèi)容。后來(lái)，隨著科技進(jìn)步以及增強(qiáng)玩家游戲體驗(yàn)的需要，相關(guān)的 游戲公司開(kāi)發(fā)出了專業(yè)化，特異化的游戲輸入設(shè)備以及大型街機(jī)游戲項(xiàng)目。近年來(lái)，一種新 興的游戲風(fēng)靡全球，這就是體感游戲，其突破以往單純以手柄按鍵輸入的操作方式，通過(guò)肢 體動(dòng)作變化進(jìn)行操作游戲，這種游戲適合于各個(gè)年齡、各種文化差異的人群使用。體感游戲 基本都是以“游戲手柄”的形式協(xié)助游戲，通過(guò)嵌入式的技術(shù)植入電視機(jī)、手機(jī)等終端顯示 來(lái)完成體感游戲的終端技術(shù)對(duì)接。( 二)兒童教育軟件的現(xiàn)狀隨著人機(jī)交互的自然性越來(lái)越強(qiáng)，在教育軟件中的應(yīng)用也越來(lái)越多，特別是在兒 童教育軟件中，人機(jī)交互顯得極為重要。要想開(kāi)發(fā)出很好的兒童教育軟件，首先要知道兒童 的心理特征。兒童無(wú)法很好的控制自己的行為和心理過(guò)程，易受到外界影響，他們是以直觀 表象的形式來(lái)認(rèn)識(shí)外界事物，在進(jìn)行想象時(shí)，多以再造性想象為主體，創(chuàng)造性想象很少。兒 童知識(shí)經(jīng)驗(yàn)貧乏，無(wú)法自主地正規(guī)地進(jìn)行學(xué)習(xí)，游戲就成了兒童的主要活動(dòng)形式。游戲這種 活動(dòng)形式的優(yōu)點(diǎn)在于，通過(guò)游戲，幼兒可以逐步地增加他們的知識(shí)經(jīng)驗(yàn)，在創(chuàng)造性的游戲中 可以鍛煉兒童的想象力，此外，在游戲中兒童不需要過(guò)多地約束自己，他們只以游戲?yàn)槟康?而不以學(xué)習(xí)為目的，不會(huì)給兒童帶來(lái)太大的負(fù)擔(dān)，而且多個(gè)感覺(jué)通道同時(shí)參與時(shí)，有助于兒 童更好的記憶所學(xué)習(xí)的內(nèi)容。兒童的世界是童話的幻想的世界，童話的幻想世界遠(yuǎn)比現(xiàn)實(shí)要美麗和有趣。在這 個(gè)虛幻的世界里，兒童可以上天入地，可以打破時(shí)空的局限，可以想象一切現(xiàn)實(shí)世界中不可 能做到的荒唐的、神秘的事情。而故事的大膽空靈的想象和驚人的夸張，為兒童提供了可供 兒童盡情表演的一個(gè)虛幻的大舞臺(tái)。故事能穩(wěn)定兒童的情緒，能促進(jìn)兒童語(yǔ)言、智力的發(fā) 展，在聽(tīng)故事、講故事的過(guò)程中，幼兒不斷地學(xué)習(xí)故事中的規(guī)范語(yǔ)言，學(xué)習(xí)把話說(shuō)清楚并富 有表現(xiàn)力，這對(duì)他們清楚、準(zhǔn)確的發(fā)音，連貫性的語(yǔ)言的發(fā)展是十分有意義的。目前，市場(chǎng)上已有一些帶有人機(jī)交互功能的講故事系統(tǒng)。這些已經(jīng)產(chǎn)品化的系統(tǒng) 主要有三種(I) 一種是系統(tǒng)預(yù)先將故事按情節(jié)錄入語(yǔ)音，并為每個(gè)情節(jié)設(shè)計(jì)場(chǎng)景和人物 圖，用戶可以看圖聽(tīng)故事，并自己選擇講故事的節(jié)奏；(2) 一種是系統(tǒng)將故事按情節(jié)設(shè)計(jì)為 若干情節(jié)圖，用戶按故事發(fā)展順序選擇情節(jié)圖，自己講故事，該系統(tǒng)還可以通過(guò)觸摸等簡(jiǎn)單 的人機(jī)交互控制場(chǎng)景中的人物做預(yù)先設(shè)計(jì)好的簡(jiǎn)單的動(dòng)作；(3)還有一種是系統(tǒng)提供故事 情節(jié)圖，用戶可以自己講故事并錄入到系統(tǒng)中，然后配合情節(jié)圖聽(tīng)自己講故事。第一種講 故事的系統(tǒng)，雖然在聽(tīng)故事的同時(shí)觀看圖片，讓用戶比較真實(shí)具體的看到故事情景，但是靜 態(tài)圖片吸引用戶的注意力較短；第二種講故事系統(tǒng)，雖然在第一種的基礎(chǔ)上增加了一定的 交互性，但是這種系統(tǒng)需要在觸摸屏幕的手機(jī)或電腦中使用，交互設(shè)備的局限性，很難讓用 戶產(chǎn)生身臨其境的感覺(jué)；最后一種講故事系統(tǒng)，雖然比第一種增加了一定交互性，和錄入功 能，但用戶只單純用語(yǔ)言表達(dá)故事，缺乏交互性，從而趣味性略差。本文實(shí)現(xiàn)的講故事游戲 系統(tǒng)展示場(chǎng)景、人物，用戶可以通過(guò)自然人機(jī)交互設(shè)備控制場(chǎng)景中的主要人物，使講故事的 人變?yōu)楣适轮械娜宋铮蓡渭兊闹v故事變?yōu)楸硌莨适隆Ｔ诒硌莨适碌倪^(guò)程中，用戶不僅僅需要用語(yǔ)言講故事，還需要肢體的配合，有時(shí)還需要展開(kāi)自己的想象力，從而使得講故事本身 更加有趣味性、更加富有創(chuàng)造力。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)需要解決的技術(shù)問(wèn)題是，如何提供一種基于自然人機(jī)交互的二維數(shù)據(jù)對(duì)象 控制系統(tǒng)及其方法，能控制二維數(shù)據(jù)對(duì)象進(jìn)行人物/角色輔助表演，尤其滿足兒童講故事 的表演需要，提升他們的想象力和創(chuàng)造力。本專利技術(shù)的第一個(gè)技術(shù)問(wèn)題這樣解決構(gòu)建一種基于自然人機(jī)交互的二維數(shù)據(jù)對(duì)象 控制方法，其特征在于，包括以下步驟通過(guò)自然人機(jī)交互設(shè)備接收用戶的場(chǎng)景切換控制指令，并根據(jù)該指令和當(dāng)前場(chǎng)景 從場(chǎng)景隊(duì)列中讀取下一個(gè)數(shù)字化場(chǎng)景，然后通過(guò)計(jì)算機(jī)顯示輸出裝置顯示所述數(shù)字化場(chǎng)旦牙、；根據(jù)當(dāng)前場(chǎng)景在計(jì)算機(jī)數(shù)據(jù)庫(kù)中查找對(duì)應(yīng)的數(shù)字化二維數(shù)據(jù)對(duì)象，然后通過(guò)計(jì)算 機(jī)顯示輸出裝置顯示所述查找到的數(shù)字化二維本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于自然人機(jī)交互的二維數(shù)據(jù)對(duì)象控制方法，其特征在于，包括以下步驟：通過(guò)自然人機(jī)交互設(shè)備接收用戶的場(chǎng)景切換控制指令，并根據(jù)該指令和當(dāng)前場(chǎng)景從場(chǎng)景隊(duì)列中讀取下一個(gè)數(shù)字化場(chǎng)景，然后通過(guò)計(jì)算機(jī)顯示輸出裝置顯示所述數(shù)字化場(chǎng)景；根據(jù)當(dāng)前場(chǎng)景在計(jì)算機(jī)數(shù)據(jù)庫(kù)中查找對(duì)應(yīng)的數(shù)字化二維數(shù)據(jù)對(duì)象，然后通過(guò)計(jì)算機(jī)顯示輸出裝置顯示所述查找到的數(shù)字化二維數(shù)據(jù)對(duì)象；通過(guò)自然人機(jī)交互設(shè)備接收用戶的角色行動(dòng)控制指令，并根據(jù)該指令和當(dāng)前場(chǎng)景在計(jì)算機(jī)數(shù)據(jù)庫(kù)中查找當(dāng)前場(chǎng)景中對(duì)應(yīng)數(shù)字化二維數(shù)據(jù)對(duì)象的動(dòng)態(tài)演示數(shù)據(jù)，然后通過(guò)計(jì)算機(jī)顯示輸出裝置顯示所述查找到的動(dòng)態(tài)演示數(shù)據(jù)；通過(guò)自然人機(jī)交互設(shè)備接收用戶的角色會(huì)話控制指令，并根據(jù)該指令和當(dāng)前場(chǎng)景在計(jì)算機(jī)數(shù)據(jù)庫(kù)中查找當(dāng)前場(chǎng)景中對(duì)應(yīng)數(shù)字化二維數(shù)據(jù)對(duì)象的言語(yǔ)動(dòng)畫數(shù)據(jù)，然后通過(guò)計(jì)算機(jī)顯示輸出裝置顯示所述查找到的言語(yǔ)動(dòng)畫數(shù)據(jù)；其中：每一場(chǎng)景中每一用戶通過(guò)各自人機(jī)交互設(shè)備控制各自對(duì)應(yīng)二維數(shù)據(jù)對(duì)象。
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曹衛(wèi)群，鐘潞，
申請(qǐng)(專利權(quán))人：北京林業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。