功能擴展裝置、功能擴展方法、功能擴展程序以及集成電路制造方法及圖紙

對象識別部(1101)根據(jù)現(xiàn)實空間的影像數(shù)據(jù)識別包含在該影像數(shù)據(jù)中的物體。功能設定部(1103)保存針對物體的各種類能夠設定的由操作和處理的組構成的功能被規(guī)定的功能信息。然后，功能設定部(1103)針對由對象識別部(1101)識別出的各物體，根據(jù)各物體的種類設定能夠設定的功能。選擇判定部(1105)從由對象識別部(1101)識別出的各物體中判定被用戶選擇為操作對象的選擇物體。操作判定部(1106)判定用戶對選擇物體進行的操作。處理決定部(1107)決定對構成由功能設定部(1103)設定的功能的操作中、由操作判定部(1106)判定出的操作的處理。

【技術實現(xiàn)步驟摘要】
【國外來華專利技術】
本專利技術涉及一種在擴展現(xiàn)實空間中對識別出的物體設定功能的技術。
技術介紹
作為在擴展現(xiàn)實空間中對作為對象而被識別出的物體設定功能的技術，以往已知一種利用預先對物體賦予的搜索功能的技術。在此，對作為對象而被識別出的物體設定的“功能”是指用戶與物體間的相互作用，由用戶進行的一系列操作和對一系列操作各自的處理的組構成。更詳細而言，“功能”由作為從用戶向物體的輸入的“操作”和作為對用戶的操作的反饋而被執(zhí)行的“處理”的組構成。作為“功能”的例子，考慮寫入履歷記錄功能、顏色變更功能以及搜索功能等。在搜索功能的情況下，針對用戶指示物體的這樣的“操作”，進行搜索所指示的物體的信息并將搜索結果在視覺上提示給用戶的這樣的“處理”。例如，在專利文獻I中公開了一種提供與用戶所關心的物體有關的信息的指向系統(tǒng)(pointing system)。用戶將手持式裝置指向想要訪問的物(相當于上述的“操作”)。該手持式裝置測定位置和手勢，制作基準，搜索預先編程的包含與物體有關的信息的數(shù)據(jù)庫，由此判斷哪一個物體被訪問。然后，將與被判斷為當前被訪問的物體的物體有關的信息提示在用戶接口上(相當于上述的“處理”)。然而，在專利文獻I的結構中，預先確定對被訪問的物體提示何種信息。也就是說，預先確定對被訪問的物體賦予的功能。因而，在專利文獻I中，不存在針對物體在多個功能中追加或從多個功能中刪除哪個功能的機構。因此，雖然能夠利用對物體預先確定的功能，但是無法動態(tài)地追加或刪除功能。另外，在專利文獻I中，也不存在根據(jù)物體的種類確定能夠對物體設定的功能的機構、針對物體的各種類判斷能夠賦予的功能的機構。因此，無法對物體追加與物體的種類相適應的功能。例如，對于書這種種類的物體來說，寫入履歷記錄功能是能夠賦予的功能，對于地球儀這種種類的物體來說，搜索功能和顏色變更功能是能夠賦予的功能。然而，在專利文獻I的技術中，不存在針對物體的各種類判斷能夠賦予的功能的機構。因此，在作為物體的種類存在書、白板、地球儀，作為系統(tǒng)對物體賦予的功能存在寫入履歷記錄功能、顏色變更功能以及搜索功能的情況下，無法判斷對哪個物體賦予何種功能來追加功能。專利文獻1:日本特表2004-531791號公報
技術實現(xiàn)思路
本專利技術的目的在于提供一種對被取入擴展現(xiàn)實空間的現(xiàn)實空間的物體能夠動態(tài)地設定適合該物體的種類的功能的功能擴展裝置、功能擴展方法、功能擴展程序以及集成電路。本專利技術的一方面所涉及的功能擴展裝置，是將現(xiàn)實空間中的物體取入到擴展現(xiàn)實空間并對該物體設定功能的功能擴展裝置，包括對象識別部，從由影像輸入裝置獲取的現(xiàn)實空間的影像數(shù)據(jù)識別包含在該影像數(shù)據(jù)中的物體，對識別出的物體的種類以及該物體在現(xiàn)實空間中的位置進行識別；功能設定部，保存針對物體的各種類能夠設定的由操作和處理的組構成的功能被規(guī)定的功能信息，在由所述對象識別部識別出物體時，參照所述功能信息，根據(jù)識別出的物體的種類對該物體設定功能；輸入識別部，識別在所述現(xiàn)實空間中由用戶進行的輸入動作以及所述輸入動作被進行的現(xiàn)實空間中的輸入位置；選擇判定部，基于所述對象識別部識別出的物體在現(xiàn)實空間中的位置以及所述輸入識別部識別出的現(xiàn)實空間中的輸入位置，判定由用戶選擇為操作對象的選擇物體；操作判定部，利用所述輸入識別部識別出的輸入動作判定用戶的操作；處理決定部，針對所述選擇判定部所選擇的選擇物體決定對構成由所述功能設定部設定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部，執(zhí)行所述處理決定部所決定的處理。另外，本專利技術的另一個方面所涉及的功能擴展方法、功能擴展程序以及集成電路具備與所述功能擴展裝置相同的特征。附圖說明圖1是表示本專利技術的實施方式的功能擴展裝置所適用的功能擴展系統(tǒng)的結構例的框圖。圖2是示意性地示出圖1所示的功能擴展系統(tǒng)識別現(xiàn)實空間的物體、設定與該物體的種類相適應的功能的處理以及利用所設定的功能的處理的一例的圖。圖3是示意性地示出功能設定部所保存的功能信息的一例的圖。圖4 (A)是示出表示功能設定部對由對象識別部作為對象識別出的各物體設定的功能的功能設定信息的一例的圖，(B)是示意性地示出本專利技術的實施方式的功能擴展裝置對作為對象識別出的物體設定的功能的一例的圖。圖5是表示在本專利技術的實施方式的功能擴展裝置中執(zhí)行的初始化處理的一例的流程圖。圖6是表示本專利技術的實施方式的功能擴展裝置對物體進行對象識別并對作為對象識別出的物體設定功能的處理的一例的流程圖。圖7是表示本專利技術的實施方式的功能擴展裝置對用戶的操作進行識別并執(zhí)行對物體設定的功能時的處理的一例的流程圖。具體實施例方式下面，參照附圖來說明本專利技術的實施方式。此外，說明中使用的附圖是為了說明本專利技術可采用的技術特征而使用的，所記載的裝置的結構和處理等只不過示出簡單的一例。因而，只要沒有特殊的以限定為目的的記載，則裝置的結構和處理并不限定于所記載的內容。本專利技術的實施方式的功能擴展裝置將存在于現(xiàn)實空間的物體進行對象識別，并取入到擴展現(xiàn)實空間，對作為對象識別出的物體追加新的功能，讓用戶利用所追加的功能。也就是說，本功能擴展裝置對作為對象識別出的物體不僅設定固定的功能，而且還追加與該物體的種類相適應的功能、與該物體相稱的功能，讓用戶利用固定的功能以及追加的功能。在此，對作為對象識別出的物體設定的“功能”是指用戶與物體間的相互作用(interaction)，由用戶的一系列操作和處理的組構成。在此，“操作”是指用戶對物體進行的操作。另外，“處理”是指從物體對用戶作為上述的“操作”的反饋而被執(zhí)行的處理。更詳細而言，“功能”由作為從用戶向物體的輸入的“操作”和作為從物體向用戶的輸出、作為“操作”的反饋而被執(zhí)行的“處理”的組構成。作為“功能”，例如包括寫入履歷記錄功能、顏色變更功能、搜索功能等。在此，搜索功能例如包括用戶指示物體的“操作”、以及從數(shù)據(jù)庫搜索與所指示的物體有關的信息并將搜索結果在視覺上提示給用戶的“處理”的組。在此，作為“處理”，例如相當于對由用戶操作的物體同步或非同步地輸出影像的處理。作為對物體同步地輸出影像的處理，可舉出例如在用戶對物體進行了操作時，生成與操作對象的物體相關聯(lián)的圖形，并將所生成的圖形重疊到操作對象的物體而進行輸出。另夕卜，作為對物體非同步地輸出影像的處理，可舉出例如在用戶對物體進行了操作時，保存與操作內容相應的數(shù)據(jù)，在對物體的操作結束之后，從所保存的數(shù)據(jù)生成圖形，并將所生成的圖形與物體相關聯(lián)地輸出。由此，在擴展現(xiàn)實空間中，用戶通過頭戴式顯示器、3D立體視覺電視或觸覺輸出設備等輸出設備能夠利用對物體追加的新的功能。例如，在作為“功能”追加了寫入履歷記錄功能的情況下，如果用戶對現(xiàn)實空間的書進行“描”的操作，則在描過的位置處劃下線的圖形被重疊在擴展現(xiàn)實空間的書上加以顯示。在此，作為重疊顯示，可以僅將伴隨操作的圖形重疊在擴展現(xiàn)實空間的物體上進行顯示，也可以將伴隨操作的圖形進一步重疊在重疊顯示的圖形上進行顯示。另外，在用戶再次打開了用戶過去操作過的擴展現(xiàn)實空間的某書時，根據(jù)在過去的操作時保存的數(shù)據(jù)生成圖形，并重疊在物體上顯示。由此，用戶能夠獲得在擴展現(xiàn)實空間中用手指對書畫下劃線，事后確認下劃線的體驗。在本實施方式中，作為“操作”，以用戶移動手來輸入操作為基本進行說明。然而，本專利技術中的“本文檔來自技高網(wǎng)...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】2011.02.01 JP 2011-0197841.一種功能擴展裝置，將現(xiàn)實空間中的物體取入到擴展現(xiàn)實空間，并對該物體設定功能，其特征在于包括 對象識別部，從由影像輸入裝置獲取的現(xiàn)實空間的影像數(shù)據(jù)識別包含在該影像數(shù)據(jù)中的物體，對識別出的物體的種類以及該物體在現(xiàn)實空間的位置進行識別； 功能設定部，保存針對物體的各種類能夠設定的由操作和處理的組而構成的功能被規(guī)定的功能信息，在由所述對象識別部識別出物體時，參照所述功能信息，根據(jù)識別出的物體的種類對該物體設定功能；輸入識別部，識別在所述現(xiàn)實空間中由用戶進行的輸入動作以及所述輸入動作被進行的現(xiàn)實空間中的輸入位置； 選擇判定部，基于所述對象識別部識別出的物體在現(xiàn)實空間中的位置以及所述輸入識別部識別出的在現(xiàn)實空間中的輸入位置，判定由用戶選擇為操作對象的選擇物體； 操作判定部，利用所述輸入識別部識別出的輸入動作，判定用戶的操作； 處理決定部，針對所述選擇判定部所選擇的選擇物體，決定對構成由所述功能設定部設定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部,執(zhí)行所述處理決定部所決定的處理。2.根據(jù)權利要求1所述的功能擴展裝置，其特征在于， 所述對象識別部，針對各識別出的物體辨別該物體的種類， 所述功能設定部，即使是種類相同的物體，也對各物體設定功能。3.根據(jù)權利要求2所述的功能擴展裝置，其特征在于， 所述輸入識別部，獲取用于辨別進行了輸入動作的用戶的用戶標識符， 所述功能設定部，在由所述對象識別部識別出物體時，向用戶提示對該物體的種類能夠設定的操作和處理的候選，將由用戶選擇的操作和處理設定為該物體的功能，并將所設定的功能與所述用戶標識符對應起來加以保存， 所述處理決定部，決定對構成所述功能設定部為具有所述用戶標識符的用戶設定的功能的操作中、由所述操作判定部判定出的操作的處理。4.根據(jù)權利要求2或3所述的功能擴展裝置，其特征在于， 所述功能設定部，在由所述對象識別部識別出物體時，判定對該物體的種類能夠設定的操作和處理中的、對該物體能夠設定的操作和處理，將判定出的操作和處理設定為該物體的功能。5.根據(jù)權利要求4所述的功能擴展裝置，其特征在于， 所述對象識別部，識別物體的形狀和大小， 所述功能設定部，基于所述對象識別部識別出的物體的形狀和大小的至少其中之一，判定對該物體能夠設定的操作和處理。6.根據(jù)權利要求4或5所述的功能擴展裝置，其特征在于， 所述功能設定部，基于所述功能擴展裝置的能力以及與所述功能擴展裝置連接的外圍裝置的能力，判定對由所述對象識別部識別出的物體能夠設定的操作和處理。7.根據(jù)權利要求4至6中的任一項所述的功能擴展裝置，其特征在于， 所述功能設定部，通過指定的通信網(wǎng)絡與外部判定裝置連接，在由所述對象識別部識別出物體時，將對該物體的種類能夠設定的操作和處理中的、對該物體能夠設定的操作和處理的判定處理委托給所述外部判定裝置，根據(jù)所述外部判定裝置的判定結果對該物體設定功能。8.根據(jù)權利要求1至7中的任一項所述的功能擴展裝置，其特征在于， 所述功能設定部，從通過指定的通信網(wǎng)絡連接的服務器獲取所述功能信息。9.根據(jù)權利要求1至8中的任一項所述的功能擴展裝置，其特征在于， 所述執(zhí)行部，具備將圖形重疊在由所述影像輸入裝置獲取的影像數(shù)據(jù)上而顯示于影像輸出裝置的影像輸出控制部， 所述功能擴展裝置還包括圖形生成部，在由所述處理決定部決定的處理是對所述選擇物體重疊圖形的處理的情況下，生成重疊到所述選擇物體上的圖形，并將在所述選擇物體上重疊所生成的圖形的描繪委托輸出到所述影像輸出控制部。10.根據(jù)權利要求9所述的功能擴展裝置，其特征在于， 所述執(zhí)行部，具備控制對用戶賦予觸覺的觸覺輸出裝置的觸覺輸出控制部， 所述觸覺輸出控制部，驅動所述觸覺輸出裝置以伴隨圖形在所述選擇物體上的重疊而對用戶賦予觸覺。11.根據(jù)權利要求1至10中的任一項所述的功能擴展裝置，其特征在于還包括 3D模型管理部，對由對象識別部識別出的各物體賦予物體標識符，生成包含所述物體標識符、所述物體的種類以及所述物體在現(xiàn)實空間中的位置的各物體的3D立體視覺模型，將所生成的各物體的3D立體視覺...

【專利技術屬性】
技術研發(fā)人員：堀井幸，
申請(專利權)人：松下電器產(chǎn)業(yè)株式會社，
類型：
國別省市：