支持視覺受損的個體的擴增的現實全景制造技術

提出了一種向遠程用戶提供實時對象識別的方法和系統。該系統包括包含相機的便攜式通信設備、遠離該便攜式通信設備并可由該便攜式通信設備經由網絡訪問的至少一個客戶端-服務器主機、以及可由所述客戶端-服務器主機設備訪問的識別數據庫。駐留在所述客戶端-服務器主機設備上的識別應用能夠利用該識別數據庫來向便攜式通信設備的遠程用戶提供使用便攜的通信設備捕獲的視覺圖像的實時對象識別。在一個實施例中，能看見的助理與便攜的通信設備的視覺受損的用戶分享擴增的現實全景，其中該全景由來自該設備的傳感器數據構造。

【技術實現步驟摘要】
【國外來華專利技術】受損人士提供指示接近一個或多個對象的觸覺或聽覺反饋，或可以控制選擇一個或多個適用的對象識別算法或例程以獲取額外的數據。在一些實施例中，擴增的現實全景包括多形態的全景數據，其中擴增的現實中的對象包括多個類型的感測數據，可能包括視覺數據、觸覺數據、動覺數據、可聽到的數據或其它類型的傳感器數據。可以用包括不可視數據的元數據對對象加標簽。示例的不可視數據包括觸覺元數據標簽、聽覺元數據標簽或可由助理影響(leverage)以幫助視覺受損的用戶的其它類型的標簽。多形態的元數據標簽或不可視的標簽可以以設備命令的形式發回遠程視覺受損人士的設備。因此，視覺受損人士可以基于不可視的反饋導航通過他們自身的個人化環境。本專利技術主題的各個對象、特征、方面和優點將從以下對優選實施例的詳細描述并連同附圖而變得顯而易見，在附圖中類似的數字代表類似的部件。附圖說明 圖I示出根據本專利技術的一個實施例的用于提供實時的對象識別和增強的視力的系統；圖2示出根據本專利技術的另一個實施例的用于提供實時的對象識別和增強的視力的系統；圖3示出根據本專利技術的一個實施例的在其上捕獲了由圖I中的識別應用124產生的示例顯示的可視框(visual frame)；圖4示出根據本專利技術的一個實施例的用于提供實時的對象識別和增強的視力的系統的功能概覽；以及圖5是根據本專利技術的一個實施例的表示用于提供實時的對象識別和增強的視力的方法的流程圖。圖6示出能夠向視覺受損人士提供增強的視力的另一個系統。圖7示出配置為展現遠程環境的擴增的現實全景的可能的能看見的助理界面。具體實施例方式應當注意，盡管以下的描述被引到基于計算機/服務器的擴增的現實引擎(engine)，但認為各種可選的配置也是適合的，且可以采用包括服務器、接口、系統、數據庫、引擎、適配器、控制器或其它類型的計算設備的單獨或集體操作的各種計算設備。應該理解，計算設備包括配置為執行存儲在有形的、非臨時性計算機可讀存儲介質(例如，硬盤驅動器、固態驅動器、RAM、閃存、ROM等)上的軟件指令的處理器。軟件指令優選地配置計算設備來提供如下面關于公開的裝置所討論的作用、職責或其它功能。在特別優選的實施例中，各種服務器、系統、數據庫或接口使用標準化的協議或算法——可能基于HTTP、HTTPS、AES、公共-私有密鑰交換、萬維網服務API、已知的金融業務協議或其它的電子信息交換方法，來交換數據。優選地，在分組交換網絡、因特網、LAN、WAN、VPN或其它類型的分組交換網絡上進行數據交換。應該理解，公開的技術提供了很多有益的技術效果，包括配置遠程感測設備以輔助視覺受損人士。例如，遠程能看見的助理可以使用擴增的現實引擎以向遠程的視覺受損人士的智能電話發出設備命令。該命令可以指示電話對于視覺受損人士提供指導。如這里所使用的，除非上下文另外地指出，術語“耦接到”旨在包括直接耦接(其中相互耦接的兩個元件相互接觸)和間接耦接(其中至少一個額外的元件位于兩個元件之間)兩者。因此，術語“耦接到”和“與…耦接”作為同義使用。本申請針對提供實時的對象識別和視力增強的系統和方法。以下描述包括有關本專利技術的實現的具體信息。本領域的技術人員會認識到可以以不同于本申請中具體討論的方式實現本專利技術。此外，沒有討論本專利技術的一些具體的細節以避免混淆本專利技術。本申請中沒有描述的具體細節在本領域普通技術人員的知識中。本申請中的附圖及其附隨的詳細描述只針對本專利技術的示例性實施例。為了保持簡明，使用本專利技術的原理的本專利技術的其它實施例沒有在本申請中具體描述并且也沒有通過本附圖具體圖示。應當記住，除非另外說明，圖中類似或對應的元件可以由類似或對應的參考數字指示。本專利技術人已經意識到提供計算機居間的對象識別的傳統方法通常導致不理想的用戶體驗。此外，本專利技術人已經認識到技術中對實現作為視覺受損人士增強視力的方法的 一部分的細致入微且復雜的對象識別解決方案的急切的需要。本申請公開了旨在提供靈活、強大且用戶易應答的解決方案的系統和方法，所述解決方案配置為精確且方便地提供對象、面部、上下文(context)以及環境識別作為擴增視力的完整的方案的一部分。例如在一個實施例中，根據本專利技術概念的系統和方法可以使能(enable)捕獲包括臉部特征的視覺圖像并提供具有那些特征的人士的實時識別。此外，在一個實施例中，根據本專利技術概念的系統和方法可以使能捕獲包括環境特征的視覺圖像并提供位置的實時識別，以及有可能根據該位置向遠程用戶提供導航信息。由本申請公開的許多益處之一是用于通過可訪問的接口向移動用戶提供實時的能看見的輔助、信息以及通信的設備、系統和方法。例如在一個實施例中，可以使用連接到用戶個人計算機(PC)的相機使能的便攜式通信設備和/或其它集中或分布式計算和通信服務提供擴增的現實和增強的視力服務。例如，這里具體化的系統允許視覺受損的用戶使用相機使能的便攜式通信設備(諸如移動電話或個人數字助理(PDA))以例如與能看見的助理或者自動的計算機視覺引擎實時地通信，該能看見的助理或者自動的計算機視覺引擎允許它們實時檢測、認出并跟蹤對于低分辨率視頻分析而言過遠的對象、地標、特別的標簽(tag)、文本、標牌(signage)或條形碼。本系統的實施例以非常高的速度提供高分辨率圖像識別，所述速度例如大約5至10巾貞每秒(fps)或更高。根據本專利技術的一個實施例,通過開發(tap)用戶的PC的處理能力使能這樣的性能。在一些實施例中，對象或環境識別處理的結果可以使用文本到語音或預錄音的標簽大聲發音(enunciated)。也就是說，可以通過實時提供對象的發音的語音識別來識別出對象。可以使用利用本專利技術的實施例分布或訪問的識別數據庫進行處理和識別。那些數據庫例如可以包括對大多數用戶共同的缺省條目。在一些實施例中，識別數據庫可以是開放的，從而使得可以在用戶的PC本地的存儲資源、或在中央共享的社區數據庫中存儲并且訪問對于用戶個人而言重要的額外的信息層。除了發音的語音識別之外，諸如超鏈接、圖像、二維(2D)和三維(3D)圖形等的圖形元素可以以低延遲和高幀速率實時地附連和配準(register)到視頻流中的特征。此外，使用圖形以及觸覺和語音使能的觸摸屏界面實現的可訪問界面，當與語音識別和手勢識別結合時，使能寬范圍的受到挑戰的用戶的使用，所述用戶諸如視覺受損、年老和其他具有交流和認知障礙的人士。專門的標簽可以在系統中預先訓練，允許用戶簡單地將標簽貼到沒有被該系統另外地識別出的各個對象和地標。這種貼標簽的方法可以使用可通過實時的視頻分析而識別的特征，諸如識別為對于各種對象識別算法最優的圖像，所述對象識別算法例如尺度不變特征變換算法(SIFT)、加速魯棒特征算法(SURF)或其它較簡單的基于顏色或形狀的技術。當用戶將便攜式通信設備相機指向一個或多個場景中的一個或多個對象時，可以由系統實時自動地分析對象以識別一個或多個對象。該系統還可配置為圖形地或通過音頻或觸覺界面在便攜式通信設備的顯示器中提供有關識別的對象的鏈接信息或動作選項。基于對例如對象、文本、電話號碼、電子郵件、SMS聯系人或街道標牌的識別而生成的鏈接以及展現為用戶先前的輸入的那些可以產生更多的用戶選項，用于訪問額外的信息層或用于初始化通信或基于位置的服務。本專利技術的實施例實現混合式點對點(本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發人員：O迪亞拉梅，D米勒，C布蘭查德，TC多塞，JM蘇多爾，
申請(專利權)人：愛普萊克斯控股公司，
類型：
國別省市：