增強現實中對象的識別方法及系統和計算機技術方案

本發明專利技術提供了一種增強現實中對象的識別方法及系統和計算機，其中，該識別方法包括：計算機接收輸入設備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。本發明專利技術通過檢測雙眼瞳孔位置，實現三維視線的建模，并將三維視線與三維空間進行疊加匹配，解決了在三維空間中識別出用戶的關注對象的問題，并可以與該關注對象進行交互。

【技術實現步驟摘要】
增強現實中對象的識別方法及系統和計算機
本專利技術涉及一種增強現實技術，尤其涉及一種增強現實中對象的識別方法及系統和計算機。
技術介紹
增強現實(AugmentedReality，簡稱AR)，也被稱之為混合現實，是通過計算機技術，將虛擬的信息應用到真實世界，真實的環境和虛擬的對象實時地疊加到了同一個畫面或空間同時存在。增強現實技術可應用到如下領域：醫療領域：醫生可以利用增強現實技術，輕易地進行手術部位的精確定位；軍事領域：部隊可以利用增強現實技術，進行方位的識別，獲得目前所在地點的地理數據等重要軍事數據；古跡復原和數字化文化遺產保護：文化古跡的信息以增強現實的方式提供給參觀者，用戶不僅可以通過HMD看到古跡的文字解說，還能看到遺址上殘缺部分的虛擬重構；工業維修領域：通過頭盔式顯示器將多種輔助信息顯示給用戶，包括虛擬儀表的面板、被維修設備的內部結構、被維修設備零件圖等；網絡視頻通訊領域：該系統使用增強現實和人臉跟蹤技術，在通話的同時在通話者的面部實時疊加一些如帽子、眼鏡等虛擬對象，在很大程度上提高了視頻對話的趣味性；電視轉播領域：通過增強現實技術可以在轉播體育比賽的時候實時地將輔助信息疊加到畫面中，使得觀眾可以得到更多的信息；娛樂、游戲領域：增強現實游戲可以讓位于全球不同地點的玩家，共同進入一個真實的自然場景，以虛擬替身的形式，進行網絡對戰；旅游、展覽領域：人們在瀏覽、參觀的同時，通過增強現實技術將接收到途經建筑的相關資料，觀看展品的相關數據資料；市政建設規劃：采用增強現實技術將規劃效果疊加到真實場景中以直接獲得規劃的效果。對于增強現實的顯示技術實現原理基本上是將左右兩眼看到的真實場景圖像之上疊加上生成的虛擬圖像。目前已經有類似頭盔的產品出售.谷歌(Google)眼鏡也是類似產品，但由于虛擬信息疊加在單眼，不能實現立體的虛擬場景。現有技術對于虛擬3D空間內對象與圖片的展現技術目前已經相對比較成熟，但交互技術目前仍存在一些障礙，具體表現為計算機無法很方便地獲知人對于3D空間內的哪個對象感興趣，想操縱哪個對象或虛擬對象。對于這方面現有技術主要有以下幾種：頭盔上裝有傳感器，實現對頭盔在3D空間中的定位和方向定位；通過外部傳感器跟蹤人眼動作，確定視線方向，但因為空間是3D，該方法不能夠定位對象景深；通過手勢識別方式，判斷想要操作的對象位置，同樣缺乏景深信息，如果有多個景深的對象處于相同方位，就無法正確識別。現有的雙目視覺基本上是通過兩個平行軸攝像機拍攝對象，然后用本領域熟知的深度恢復和三維重建方法(RameshJain，RangacharKasturi，BrainGSchunck，MachineVersion，McGrawHill，1995)進行三維重建。
技術實現思路
本專利技術實施例提供了一種增強現實中對象的識別方法及系統和計算機，以解決如何在三維空間中識別出用戶的關注對象，并與該關注對象進行交互的問題。本專利技術實施例提供了一種增強現實中對象的識別方法，該方法包括：計算機接收輸入設備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。優選地，所述計算機確定出用戶待操作的虛擬對象之后，所述方法還包括：所述計算機接收輸入設備輸入的動作信息，根據所述動作信息和預保存的動作和操作的一對一映射關系，對待操作對象執行對應的操作；所述待操作對象包括所述用戶待操作的虛擬對象。優選地，所述預保存的動作和操作的一對一映射關系包括如下對應關系中的一種或幾種：雙眼視線滑動對應于：改變當前輸入焦點；左眼閉合且右眼視線滑動對應于：拖拽操作；左眼閉合且右眼眨眼對應于：點擊操作；右眼閉合且左眼視線滑動對應于：放大或縮小操作；右眼閉合且左眼眨眼對應于：右鍵點擊操作；雙眼快速連續眨眼對應于：彈出菜單操作；單眼凝視對象2秒以上對應于：長按操作；雙眼凝視對象2秒以上對應于：刪除操作；以及雙眼閉合2秒以上對應于：關閉菜單操作。優選地，所述計算機對待操作對象執行對應的操作之前，所述方法還包括：所述計算機接收輸入設備輸入的視差圖像，對外部世界建模，確定所述雙眼視線焦點處有真實對象，識別出所述真實對象的屬性；所述待操作對象包括識別出屬性的真實對象。優選地，所述輸入設備為以下設備中的一種或多種：眼球檢測設備、手持設備、語音輸入設備、攝像頭和虛擬模型系統。優選地，所述計算機根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標，包括：所述計算機根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置獲得左眼瞳孔相對坐標和右眼瞳孔相對坐標，根據所述左眼瞳孔相對坐標和所述右眼瞳孔相對坐標計算得到雙眼視線焦點的空間坐標。本專利技術實施例還提供了一種計算機，應用與增強現實中，該計算機包括：圖像識別模塊，用于分別接收輸入設備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并輸出至圖像分析模塊；所述圖像分析模塊，用于分別根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置對應獲得左眼瞳孔相對坐標和右眼瞳孔相對坐標，并輸出至景深恢復計算模塊；所述景深恢復計算模塊，用于根據所述左眼瞳孔相對坐標和所述右眼瞳孔相對坐標計算得到雙眼視線焦點的空間坐標，并輸出至對象匹配模塊；以及所述對象匹配模塊，用于接收輸入設備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。優選地，所述計算機還包括：對象操控命令輸出模塊，用于接收輸入設備輸入的動作信息，根據所述動作信息和預保存的動作和操作的一對一映射關系，為所述對象匹配模塊確定的所述待操作的虛擬對象輸出對應的操控命令。優選地，所述預保存的動作和操作的一對一映射關系包括如下對應關系中的一種或幾種：雙眼視線滑動對應于：改變當前輸入焦點；左眼閉合且右眼視線滑動對應于：拖拽操作；左眼閉合且右眼眨眼對應于：點擊操作；右眼閉合且左眼視線滑動對應于：放大或縮小操作；右眼閉合且左眼眨眼對應于：右鍵點擊操作；雙眼快速連續眨眼對應于：彈出菜單操作；單眼凝視對象2秒以上對應于：長按操作；雙眼凝視對象2秒以上對應于：刪除操作；以及雙眼閉合2秒以上對應于：關閉菜單操作。優選地，所述景深恢復計算模塊，還用于接收輸入設備輸入的視差圖像，對外部空間建模，判斷所述雙眼視線焦點處是否有真實對象；所述圖像識別模塊，還用于在所述景深恢復計算模塊確定所述雙眼視線焦點處有真實對象之后，識別所述景深恢復計算模塊確定的所述真實對象的屬性。優選地，所述對象操控命令輸出模塊，還用于接收輸入設備輸入的動作信息，根據所述動作信息和預保存的動作和操作的一對一映射關系，為所述圖像識別模塊識別出屬性的所述真實對象輸出對應的操控命令。本專利技術實施例還提供了一種增強現實中對象的識別系統，該系統包括輸入設備和計算機，其中：所述輸入設備，用于為所述計算機提供輸入信息，所述輸入信息包括用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虛擬對象的空間坐標；所述計算機為上述計算機。優選地，所述輸入信息還包括所述輸入設備獲得的眼部動作信息和/或視差圖像；或者，所述輸入設備提供的語音信息和/本文檔來自技高網...

【技術保護點】
一種增強現實中對象的識別方法，其特征在于，該方法包括：計算機接收輸入設備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。

【技術特征摘要】
1.一種增強現實中對象的識別方法，其特征在于，該方法包括：計算機接收輸入設備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象；所述計算機對待操作對象執行對應的操作之前，所述方法還包括：所述計算機接收輸入設備輸入的視差圖像，對外部世界建模，判斷所述雙眼視線焦點處是否有真實對象，在確定所述雙眼視線焦點處有真實對象之后，識別出所述真實對象的屬性。2.根據權利要求1所述的方法，其特征在于：所述計算機確定出用戶待操作的虛擬對象之后，所述方法還包括：所述計算機接收輸入設備輸入的動作信息，根據所述動作信息和預保存的動作和操作的一對一映射關系，對待操作對象執行對應的操作；所述待操作對象包括所述用戶待操作的虛擬對象。3.根據權利要求2所述的方法，其特征在于：所述預保存的動作和操作的一對一映射關系包括如下對應關系中的一種或幾種：雙眼視線滑動對應于：改變當前輸入焦點；左眼閉合且右眼視線滑動對應于：拖拽操作；左眼閉合且右眼眨眼對應于：點擊操作；右眼閉合且左眼視線滑動對應于：放大或縮小操作；右眼閉合且左眼眨眼對應于：右鍵點擊操作；雙眼快速連續眨眼對應于：彈出菜單操作；單眼凝視對象2秒以上對應于：長按操作；雙眼凝視對象2秒以上對應于：刪除操作；以及雙眼閉合2秒以上對應于：關閉菜單操作。4.根據權利要求2所述的方法，其特征在于：所述待操作對象包括識別出屬性的真實對象。5.根據權利要求1-4任一權利要求所述的方法，其特征在于：所述輸入設備為以下設備中的一種或多種：眼球檢測設備、手持設備、語音輸入設備、攝像頭和虛擬模型系統。6.根據權利要求1所述的方法，其特征在于：所述計算機根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標，包括：所述計算機根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置獲得左眼瞳孔相對坐標和右眼瞳孔相對坐標，根據所述左眼瞳孔相對坐標和所述右眼瞳孔相對坐標計算得到雙眼視線焦點的空間坐標。7.一種計算機，其特征在于，應用與增強現實中，該計算機包括：圖像識別模塊，用于分別接收輸入設備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并輸出至圖像分析模塊；所述圖像分析模塊，用于分別根據所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置對應獲得左眼瞳孔相對坐標和右眼瞳孔...

【專利技術屬性】
技術研發人員：錢煜明，屠要峰，
申請(專利權)人：中興通訊股份有限公司，
類型：發明
國別省市：