基于洞察力的認知輔助裝置、方法及系統制造方法及圖紙

一種用于增強用戶的學習、復習、復述、以及記憶的技能的基于洞察力的認知輔助裝置、方法及系統。基于個人直覺的認知輔助系統包括可作為相機頭戴設備被用戶佩戴的一個或多個組件，擷取該用戶的直覺狀態的一個或多個傳感器，擷取視頻的相機，基于所擷取的該用戶的直覺狀態針對所擷取的視頻提供認知導航地圖的處理器，以及輸入針對由認知導航地圖鏈接的該視頻的筆記、評論的輸入裝置，以及儲存該信息的所有部分以及鏈接及識別的認知地圖的存儲器。

Cognitive aids, methods and systems based on insight

【技術實現步驟摘要】
【國外來華專利技術】基于洞察力的認知輔助裝置、方法及系統相關申請的交叉參考本申請要求2017年6月13日提交的美國臨時專利申請號62/518,824的優先權，其內容整體通過參考包含于此。
與示例實施例一致的裝置、方法、系統、以及電腦可讀媒體廣泛涉及認知技術，尤其涉及學習及記憶相關技術。
技術介紹
目前，世界的知識增長極快。學生受到來自學校及其它地方的大量信息的挑戰。在多年的學習中，該大量信息常常以講座形式呈現給學生。在記憶領域的研究似乎表明個人在他或她的短期記憶中可保留數量極為有限的感官信息。除非一段感官信息在個人的工作記憶中接收認知處理任務，否則它在幾秒內就會被遺忘。當個人不喜歡該感官信息的主題時，尤其如此，他或她的大腦中的疼痛中心被激活并引起拖延。在如此情形下的個人往往將他或她的注意力集中在更愉快的想法，而不是學習不喜歡的主題。因此，此人的學習結果會很差。研究還表明，個人通過導航、掃描、關聯、以及建立信息組塊(chunk)可對復雜主題獲得更全面的理解。組塊包括針對該主題內的數個相關特征的關聯網。并且，若每個新建組塊又與該主題中的其它組塊及該人的洞察力相關，則獲得對該主題的充分全面理解，并通過洞察力分塊網絡在該人洞察力中很好地建立新的長期記憶。參見例如“LearningHowtoLearn,”BarbaraOakley,https://youtu.be/vd2dtkMINIw(最近一次訪問為2018年1月7日)中關于拖延、專注模式、發散模式及分塊方法。為將上述方法應用于今天的學習技術，學生可在上學期間在不同的課堂教學過程中使用相機拍攝有關他們的講座的視頻。學生還可在講座期間在他們的筆記本(notebook)或便攜式電腦上做筆記。在家，他們可在屏幕或電視上回放該視頻，然后將該筆記與對應片段關聯，以根據該筆記的指導，從一點到另一個點或者從一個主題到另一個主題來復習及復述講座。不過，從頭到尾復習長視頻可能非常費時費力。而且，學生只能在他們理解的時間點或針對他們理解的主題做筆記，且筆記可能在他們感到困惑或他們不感興趣的時間點或主題上丟失或令人困惑。當復習時，不容易跟蹤并將筆記、評論放入視頻中的相關特定片段中。當保存作品時，常常丟失在筆記、評論與相關特定片段之間的鏈接。因此，學習過程的有效性以及未來對此類保存信息的使用受到限制。講師自其學生收到的用來幫助他或她認識他或她的學生感到無聊、困倦或困惑的點或時間以及學生感興趣及興奮的時間或點的反饋信號也非常有限。本領域需要監控、收集并標記一個或多個學生在他們的講座上以及在他們的講座期間的認知狀態，以使他們可導航至必要的復習點。需要在視頻講座的特定片段中直接添加筆記、簡述、以及/或者評論。此外，需要記錄學習過程的一個或多個部分、組件、或完整數據，包括在教室錄制的視頻講座，用戶在講座期間或過程中的同步認知表現，學生在復習期間或過程中的同步認知表現，復述，筆記的內容，評論，問題，搜索，以及針對所識別的文件的內容的導航系統。本領域還需要通過網絡來交流、討論、以及改進學習過程，以幫助用戶更有效地學習材料，并通過提供關于講座的更好的反饋來幫助講師改進教學過程，以使講師可以容易、有效、且有趣的方式呈現材料。本領域需要改進信息獲取過程以及信息呈現過程。
技術實現思路
依據示例的非限制性實施例，基于擷取的同步的視覺及音頻信息，擷取的同步的用戶的認知狀態信息、顯示器、基于直覺的導航地圖以及由用戶輸入的筆記或評論，提供一種認知輔助系統。依據示例的非限制性實施例，基于包含在子窗口(window)中顯示并用用戶的同步認知狀態標記的子標題模塊的腳本窗口而提供基于直覺的導航地圖。依據示例的非限制性實施例，將擷取的同步的視覺及音頻信息劃分成與在子窗口中顯示并用用戶的同步認知狀態標記的子標題模塊同步的子視頻或片段。依據示例的非限制性實施例，與在子窗口中顯示并用用戶的同步認知狀態標記的子標題模塊同步的該子視頻可添加有由用戶輸入的相關筆記、評論、簡述等。示例的非限制性實施例可克服現有技術中的上述缺點及問題，還可經開發以針對上面未提到的其它缺點及問題提供解決方案。不過，依據本披露的教導操作的方法、裝置、系統、以及電腦可讀媒體不一定需要克服任何上述特定問題或缺點。應當理解，一個或多個實施例無需克服上述缺點，且可不克服上述任何問題。依據示例實施例的一個態樣，提供基于個人情感的認知輔助系統，其包括經配置以自環境擷取包括視覺及音頻信息的至少其中之一的數據的至少一個裝置，經配置以擷取與由該裝置擷取的該數據對應的用戶的情感狀態的至少一個傳感器，包括存儲器(memory)及處理器的復習裝置。該處理器經配置以：依據預定的標準將由該裝置擷取的該數據劃分成多個片段，針對該多個片段的各者，確定該用戶的直覺狀態，包括相關性的類型及相關性的程度，該直覺狀態產生自對應于該多個片段中的該相應片段的由該傳感器擷取的該用戶的該情感狀態的預定組分(component)與儲存于該存儲器中的獨特參考信號之間的比較，其中，該獨特參考信號代表獨特直覺參考樣本，生成至少一條時間軸，以及控制以針對該多個片段的各者顯示所生成的包括情感指示器的時間軸。該情感指示器標示所確定的該用戶的直覺狀態。依據另一個示例實施例，提供基于個人情感的認知輔助方法。該方法包括通過電腦接收包括自環境擷取的視覺信息及音頻信息的至少其中之一的數據，通過該電腦接收由至少一個傳感器擷取的與該數據對應的用戶的情感狀態，依據預定的標準通過該電腦將該數據劃分成多個片段，針對該多個片段的各者，通過該電腦確定該用戶的直覺狀態，包括相關性的類型及相關性的程度，該直覺狀態產生自對應于該多個片段中的該相應片段的所接收的該用戶的情感狀態的預定組分與儲存于該存儲器中的多個獨特參考信號之間的比較。該獨特參考信號代表獨特直覺參考樣本。該方法還包括通過該電腦針對該數據生成至少一條時間軸。該時間軸包括針對該多個片段的各者的情感指示器，該情感指示器標示所確定的該用戶的直覺狀態，以及通過該電腦輸出所生成的時間軸以及所接收的數據的至少其中一部分。依據又一個示例實施例，提供非暫時性電腦可讀記錄媒體，在其中儲存基于個人情感的認知輔助方法。當通過電腦執行該方法時，該方法使該電腦：接收包括自環境擷取的視覺信息及音頻信息的至少其中之一的數據，接收由至少一個傳感器擷取的與該數據對應的用戶的情感狀態，依據預定的標準將該數據劃分成多個片段，針對該多個片段的各者，確定該用戶的直覺狀態，包括相關性的類型及相關性的程度，該直覺狀態產生自對應于該多個片段中的該相應片段的所接收的該用戶的情感狀態的預定組分與儲存于該存儲器中的多個獨特參考信號之間的比較。該獨特參考信號代表獨特直覺參考樣本。該電腦還針對該數據生成至少一條時間軸，該至少一條時間軸包括針對該多個片段的各者的情感指示器，該情感指示器標示所確定的該用戶的直覺狀態，以及輸出所生成的時間軸以及所接收的數據的至少其中一部分。附圖說明包含于并構成本說明書的一部分的附圖與說明一起用以解釋并本文檔來自技高網...

【技術保護點】
1.一種基于個人情感的認知輔助系統，包括：/n至少一個裝置，經配置以自環境擷取包括由用戶觀察的同步的視覺信息及音頻信息的數據；/n至少一個傳感器，經配置以擷取與該裝置擷取的該數據同步的該用戶的情感狀態；/n復習裝置，包括存儲器及處理器，其中，該處理器經配置以：/n依據預定的標準將該裝置擷取的該數據劃分成多個片段，/n針對該多個片段的各者，確定該用戶的直覺狀態，包括相關性的類型及相關性的程度，該直覺狀態產生自對應于該多個片段中的該相應片段的由該傳感器擷取的該用戶的該情感狀態的預定組分與儲存于該存儲器中的獨特參考信號之間的比較，其中，該獨特參考信號代表獨特直覺參考樣本，/n生成至少一條時間軸，以及/n控制以針對該多個片段的各者顯示所生成的包括情感指示器的時間軸，其中，該情感指示器標示所確定的該用戶的直覺狀態。/n

【技術特征摘要】
【國外來華專利技術】20170613 US 62/518,824;20180112 US 15/870,2101.一種基于個人情感的認知輔助系統，包括：
至少一個裝置，經配置以自環境擷取包括由用戶觀察的同步的視覺信息及音頻信息的數據；
至少一個傳感器，經配置以擷取與該裝置擷取的該數據同步的該用戶的情感狀態；
復習裝置，包括存儲器及處理器，其中，該處理器經配置以：
依據預定的標準將該裝置擷取的該數據劃分成多個片段，
針對該多個片段的各者，確定該用戶的直覺狀態，包括相關性的類型及相關性的程度，該直覺狀態產生自對應于該多個片段中的該相應片段的由該傳感器擷取的該用戶的該情感狀態的預定組分與儲存于該存儲器中的獨特參考信號之間的比較，其中，該獨特參考信號代表獨特直覺參考樣本，
生成至少一條時間軸，以及
控制以針對該多個片段的各者顯示所生成的包括情感指示器的時間軸，其中，該情感指示器標示所確定的該用戶的直覺狀態。


2.如權利要求1所述的基于個人情感的認知輔助系統，其中，該數據包括彼此同步的該視覺信息與該音頻信息，
其中，該復習裝置還包括：
顯示器，經配置以顯示該時間軸并順序顯示該視頻信息，以及
語音至文本轉換器，經配置以將該多個片段的該音頻信息轉換成同步的文本及符號，其中，基于暫停點或基于是否達到預定的長度而將該音頻信息劃分成該多個片段，
其中，該處理器生成多個顯示單元，該多個顯示單元的各者包括該多個片段中的相應片段以及由該語音至文本轉換器轉換的對應文本，以及
其中，該顯示器還經配置以顯示所生成的多個顯示單元的至少其中一些。


3.如權利要求2所述的基于個人情感的認知輔助系統，其中，該顯示器顯示至少兩個顯示區域，包括：
第一區域，其中播放所擷取的視頻信息，以及
第二區域，其中顯示所生成的多個顯示單元的該至少其中一些，其中，所生成的多個顯示單元的該至少其中一些包括與當前在該第一區域中播放的該視頻的一部分對應的當前顯示單元，在該當前顯示單元之前的該多個顯示單元中的至少一個顯示單元，以及在該當前顯示單元之后的該多個顯示單元中的至少一個顯示單元，以及
其中，該多個顯示單元的各者包括標記及陰影的至少其中之一，標示針對該多個顯示單元中的該相應顯示單元所確定的該用戶的直覺狀態。


4.如權利要求3所述的基于個人情感的認知輔助系統，其中，該顯示裝置還包括經配置以接收用戶輸入的用戶輸入接口，以及
其中，響應標示自該多個顯示單元中選擇顯示單元的通過該用戶輸入接口接收的該用戶輸入，該處理器將所選擇的顯示單元設置為該當前顯示單元，并確定在該當前顯示單元之前的至少該一個顯示單元以及在該當前顯示單元之后的至少一個顯示單元，且該顯示器顯示該當前顯示單元、所確定的至少一個先前顯示單元以及至少一個將來顯示單元。


5.如權利要求4所述的基于個人情感的認知輔助系統，其中，該處理器還經配置以控制該顯示器基于通過該用戶輸入接口接收的用戶輸入針對該多個顯示單元執行滾動功能及縮放功能的至少其中之一。


6.如權利要求4所述的基于個人情感的認知輔助系統，其中，該復習裝置還與輸入裝置集成，該輸入裝置經配置以由該用戶提供相關性及復述的簡述、插入、以及記錄，它們與該第二區域中顯示的該顯示單元同步，該第二區域是該顯示器上的中央窗口。


7.如權利要求4所述的基于個人情感的認知輔助系統，其中，該處理器還經配置以搜索、檢索圖像、圖形、文本及簡述的至少其中之一并且將其插入該顯示器的第三區域中，該第三區域包括與圖像、圖形、文本及簡述的該至少其中之一相關的該當前顯示單元。


8.如權利要求1所述的基于個人情感的認知輔助系統，其中，該裝置是戴在該用戶的頭上的攝像機，
其中，該復習裝置的該處理器還經配置以：
檢測由該攝像機擷取的該視覺信息的多個圖像中的靜止對象，
在參考幀的邊界邊緣中并基于該多個圖像檢測所檢測的靜止對象的運動，以及
基于所檢測的運動檢測該用戶的認知或情感狀態，
其中，所生成的時間軸包括所檢測的該用戶的認知或情感狀態，以及其中，所檢測的該靜止對象的運動標示該用戶正在執行任務。


9.如權利要求1所述的基于個人情感的認知輔助系統，其中，該數據包括彼此同步的該視覺信息與該音頻信息，
其中，該復習裝置還包括：
顯示器，經配置以顯示該時間軸并順序顯示該視頻信息，以及
運動至簡述轉換器，經配置以將該多個片段的情感運動信息轉換成同步的簡述及符號，其中，基于暫停點或基于是否達到預定的長度而將該情感運動信息劃分成該多個片段，
其中，...

【專利技術屬性】
技術研發人員：PV·阮，
申請(專利權)人：FUVI認知網絡公司，
類型：發明
國別省市：美國;US