用個性化虛擬數據更新打印內容制造技術

本發明專利技術涉及用個性化虛擬數據更新打印內容。本技術允許使用透視、近眼、混合現實顯示設備系統來用個性化虛擬數據更新打印內容。例如書籍或雜志等打印內容項被從顯示設備上的相機所捕捉的圖像數據中標識，并且基于例如眼睛注視或姿勢等物理動作用戶輸入來標識對打印內容項內的打印內容選擇的用戶選擇。基于用戶簡檔數據為打印內容選擇從可用的虛擬數據中選擇虛擬數據，并且該顯示設備系統在與該打印內容選擇的位置配準的位置中顯示所選擇的虛擬數據。在一些示例中，基于物理動作用戶輸入來確定與打印內容項有關的任務，并且根據該任務與該打印的內容項配準地顯示個性化虛擬數據。

【技術實現步驟摘要】

本專利技術涉及混合現實，尤其涉及用個性化虛擬數據更新打印內容。
技術介紹
靜態的打印的材料可以被認為是一種形式的只讀存儲器，所述存儲器不需要電力并且以對人眼可見的形式來存儲其數據。此外，數據通常以人眼能夠舒適閱讀的格式來呈現，這種格式將打印的文字呈現在白色或另一種對比色的紙的對比物理背景上。而且，大量信息可被存儲在諸如教科書等打印的材料中。然而，將文學內容永久設置在卡片、書籍、雜志和用于表達文學內容的其他打印的介質上也意味著不能針對讀者改編所述內容。
技術實現思路
混合現實是一種允許將虛擬圖像與現實世界視圖相混合的技術。用戶可佩戴透視、近眼、混合現實顯示設備來觀看現實對象和以用戶的視野來顯示的虛擬對象的混合圖像。諸如頭戴式顯示(HMD)設備等近眼顯示設備可以更新靜態的打印材料中所體現的數據。換言之，實體書籍、雜志、或靜態的打印材料的其他實施例在以下意義上成為了一種形式的動態存儲器:打印的紙片、打印的卡片、或其他打印介質上出現的東西可以改變，并且可以基于用戶簡檔(profile)數據來改變。本專利技術技術提供一種使用透視、近眼、混合現實顯示設備來用個性化的虛擬數據更新打印的內容的方法的實施例。該方法包括:標識透視、近眼、混合現實顯示設備的視野中的打印內容項，以及基于物理動作用戶輸入來標識用戶在打印內容項內選擇的打印內容選擇。打印的內容項的一些示例是書籍或雜志。打印內容選擇的一些示例是字、短語、圖解、或段落。物理動作用戶輸入的一些示例是用戶生成的姿勢、眼睛注視、以及聲音或語音。確定虛擬數據是否對打印內容選擇可用，并且響應于虛擬數據對打印內容選擇可用，基于用戶簡檔數據從可用數據中選擇虛擬數據。在與打印內容選擇的位置配準的位置處顯示該虛擬數據。虛擬數據是虛擬對象的圖像數據，并且可以是二維(2D)或三維(3D)的。與現實對象(如打印內容選擇)配準的虛擬對象或虛擬數據意味著該虛擬對象參考或取決于通過該透視顯示設備所看到的打印內容選擇的位置來跟蹤該虛擬對象在該透視顯示設備的視野中的位置。本專利技術技術為用于用個性化的虛擬數據來更新打印內容的透視、近眼、混合現實顯示設備系統提供了系統的實施例。該系統包括由支撐結構定位的透視顯示器。支撐結構的一個示例是眼鏡架。至少一個面向外的相機被定位在支撐結構上以捕捉該透視顯示器的視野的圖像數據。一個或多個軟件控制的處理器能夠訪問所存儲的用戶簡檔數據并且通信地耦合到搜索引擎，所述搜索引擎能夠訪問一個或多個數據存儲，所述數據存儲包括作品的內容、布局和虛擬數據以及體現所述作品的打印內容項。所述一個或多個軟件控制的處理器通信地耦合到至少一個面向外的相機以用于接收視野的圖像數據。基于該視野的圖像數據，所述一個或多個軟件控制的處理器標識選擇打印內容項中的打印內容選擇的用戶物理動作。該一個或多個軟件控制的處理器基于用戶簡檔數據和打印內容選擇從一個或多個數據存儲中選擇虛擬數據，并且通信地耦合到至少一個圖像生成單元以供該透視顯示器致使該單元顯示該虛擬數據。該技術提供一個或多個處理器可讀存儲設備的實施例，該存儲設備具有編碼于其上的指令，所述指令致使一個或多個處理器執行一種用于使用透視、近眼、混合現實顯示設備來用個性化的虛擬數據更新打印內容的方法。該方法包括:標識透視、近眼、混合現實顯示設備的視野中的打印內容項，以及基于物理動作用戶輸入來確定與該打印內容項有關的任務。執行該任務，并且根據該任務將該個性化的虛擬數據顯示為與該內容項配準。提供本
技術實現思路
以便以簡化形式介紹將在以下具體實施方式中進一步描述的一些概念。本
技術實現思路
并非旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。附圖說明圖1A是描繪透視、混合現實顯示設備系統的一個實施例的示例組件的框圖。圖1B是描繪透視、混合現實顯示設備系統的另一實施例的示例組件的框圖。圖1C是描繪將移動設備用作處理單元的透視、混合現實顯示設備系統的另一實施例的示例組件的框圖。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透明、混合現實顯示設備的實施例中的鏡架的鏡腿的側視圖。圖2B是透視、近眼、混合現實設備的顯示光學系統的實施例的俯視圖。圖3是從軟件角度來看的用于通過透視、混合現實顯示設備系統來提供混合現實用戶界面的系統的框圖，在其中用于用個性化虛擬數據來更新打印內容的軟件可操作。圖4A示出打印內容選擇元數據記錄的示例。圖4B示出與打印介質相關(medium-dependent)的以及與介質無關(medium-1ndependent)的交叉引用內容數據存儲的示例。圖5A是用于用個性化的虛擬數據來更新打印內容的方法的實施例的流程圖。圖5B是用于用個性化的虛擬數據來更新打印內容的方法的另一實施例的流程圖。圖6是用于標識透視、混合現實顯示設備的視野中的打印內容項的過程的實施例的流程圖。圖7A是用于標識用戶的眼睛選擇打印內容選擇的至少一個物理動作的過程的實現示例的流程圖。圖7B是用于標識用戶的眼睛選擇打印內容選擇的的至少一個物理動作的過程的另一實現示例的流程圖。圖7C是用于標識姿勢選擇打印內容選擇的至少一個物理動作的過程的實現示例的流程圖。圖8是用于生成用戶定義的姿勢并將該姿勢與任務相關聯的過程的實現示例的流程圖。圖9是用于確定虛擬數據相對于打印材料的放置的過程的實現示例的流程圖。圖10是用于基于用戶簡檔數據來從可用虛擬數據中選擇虛擬數據的過程的實現示例的流程圖。圖11示出在博物館布告(placard)的示例上下文中用個性化的虛擬數據來更新打印內容的示例。圖12A示出了標識用戶在作為打印內容項的示例的書籍內選擇打印內容選擇的姿勢的示例。圖12B示出了標識并顯示與打印內容選擇有關的數據的示例，所述數據是在從另一應用接收的用戶的用戶簡檔數據中標識的另一人的數據。圖13示出了執行與打印內容選擇和透視、近眼、混合現實顯示設備系統的用戶的當前位置有關的方向任務的示例。圖14A是用于執行學習輔助任務的過程的實現示例的流程圖，所述學習輔助任務基于用戶問題來檢索虛擬數據。圖14B示出了顯示在一個或多個虛擬頁面上格式化的虛擬數據的學習輔助任務的示例，所述虛擬頁面看上去像是作為一個或多個相鄰頁面而被插入包括打印內容選擇的頁面。圖15A是用于執行單詞學習輔助任務的示例的過程的實現示例的流程圖。圖15B是用于執行單詞學習輔助任務的示例的過程的另一實現示例的流程圖。圖15C示出了顯示單詞的定義的單詞學習輔助任務的示例。圖15D示出了顯示單詞的同義詞的單詞學習輔助任務的示例。圖16是用于執行以下任務的過程的實現的流程圖:該任務允許用戶用打印內容項中的一個或多個其他單詞來替換至少一個單詞。圖17是可用于實現網絡可訪問計算系統的計算系統的一個實施例的框圖。圖18是可以在本技術的各實施例中操作的示例性移動設備的框圖。具體實施例方式本技術提供用于用基于用戶簡檔數據且由透視、近眼、混合現實顯示設備系統顯示的虛擬數據更新靜態的打印內容的各實施例。透視顯示設備系統標識用戶視野中的真實書籍、雜志、報紙或其他真實的打印材料。書籍、雜志、報紙、卡片或獨立的紙片都是打印內容項的示例，對象識別軟件能夠從面向前的相機所捕捉的圖像數據中標識這些打印內容項，所述相機被置于顯示設備系統上用于捕捉該顯本文檔來自技高網...

【技術保護點】
一種用于使用透視、近眼、混合現實顯示設備來用個性化虛擬數據更新打印內容的方法，包括：標識透視、近眼、混合現實顯示設備的視野中的打印內容項；基于物理動作用戶輸入來標識對所述打印內容項內的打印內容選擇的用戶選擇；確定虛擬數據是否可用于所述打印內容選擇；響應于虛擬數據可用于所述打印內容選擇，基于用戶簡檔數據從可用虛擬數據中選擇虛擬數據；以及在與所述打印內容選擇的位置配準的位置中顯示所述虛擬數據。

【技術特征摘要】
2011.12.07 US 13/313,368;2012.01.09 US 13/346,6741.一種用于使用透視、近眼、混合現實顯示設備來用個性化虛擬數據更新打印內容的方法，包括: 標識透視、近眼、混合現實顯示設備的視野中的打印內容項； 基于物理動作用戶輸入來標識對所述打印內容項內的打印內容選擇的用戶選擇； 確定虛擬數據是否可用于所述打印內容選擇； 響應于虛擬數據可用于所述打印內容選擇，基于用戶簡檔數據從可用虛擬數據中選擇虛擬數據；以及 在與所述打印內容選擇的位置配準的位置中顯示所述虛擬數據。2.按權利要求1所述的方法，其特征在于，還包括基于眼睛跟蹤數據來確定當前存在狀態并且更新用戶簡檔數據中存儲的所述當前存在狀態；以及 其中基于用戶簡檔數據來選擇虛擬數據包括基于所述當前存在狀態來選擇虛擬數據。3.按權利要求1所述的方法，其特征在于: 用戶簡檔數據包括身份數據，所述身份數據包括用戶年齡；以及其中基于用戶簡檔數據來從所述可用虛擬數據中選擇虛擬數據包括基于所述用戶年齡來選擇對年齡適當的虛擬數據。4.按權利要求1所述的方法，其特征在于，還包括: 訪問與所述打印內容選擇以及所述用戶的用戶簡檔數據中所標識的另一人有關的數據；以及 其中基于用戶簡檔數據來從所述可用虛擬數據中選擇虛擬數據包括選擇關于所述另一人的數據用于所述虛擬數據。5.按權利要求1所述的方法，其特征在于，還包括: 存儲所述虛擬數據，其中所述虛擬數據與體現在所述打印內容項中的作品的與介質無關的版本的布局中的所述打印內容選擇中體現的內容配準。6.按權利要求1所述的方法，其特征在于，還包括: 基于物理動作用戶輸入來確定與所述打印內容項有關的任務； 執行所述任務；以及 根據所述任務與所述打印內容項配準地顯示個性化虛擬數據。7.按權利要求6所述的方法，其特征在于，執行所述任務進一步包括通過以下動作來執行學習輔助任務: 監視所述透視、近眼、混合現實顯示設備的話筒所捕捉的音頻數據以獲得所述打印內容項中的一個或多個單詞； 通過語音識別軟件來標識所述用戶所提的、與所述打印內容項的所述一個或多個單詞有關的問題； 基于所述問題來制 定查詢； 基于所述查詢為所述打印內容項搜索包括虛擬數據的一個或多個數據存儲；以及響應于接收到基于所述查詢的虛擬數據，在...

【專利技術屬性】
技術研發人員：S·M·斯莫爾，A·AA·基普曼，B·I·瓦特，K·S·佩雷斯，
申請(專利權)人：微軟公司，
類型：發明
國別省市：