本文闡述的實施方式涉及一種可以根據用戶指定的一個或多個條件來控制相機的自動化助理。例如，當所述自動化助理檢測到特定環境特征明顯時，條件可以被滿足。以此方式，所述用戶可以依賴于所述自動化助理來識別和捕獲某些時刻，而不必要求所述用戶不斷地監視所述相機的查看窗口。在一些實施方式中，所述自動化助理捕獲媒體數據的條件可以基于應用數據和/或與所述自動化助理相關聯的其他場境數據。舉例而言，相機查看窗口中的內容與應用接口的其他內容之間的關系可以是所述自動化助理使用相機捕獲某些媒體數據的條件。相機捕獲某些媒體數據的條件。相機捕獲某些媒體數據的條件。
【技術實現步驟摘要】
【國外來華專利技術】經由自動化助理命令的有條件相機控制
技術介紹
[0001]人類可以利用交互式軟件應用參與人與計算機的對話，交互式軟件應用在本文中稱為“自動化助理”(也稱為“數字代理”、“聊天機器人”、“交互式個人助理”、“智能個人助理”和“對話代理”等)。例如，人類(當他們與自動化助理交互時可以被稱為“用戶”)可以使用在一些情況下可以被轉換成文本然后被處理的口頭自然語言輸入(即，話語)和/或通過提供文本的(例如，鍵入的)自然語言輸入來提供命令和/或請求。
[0002]在一些情況下，用戶可以請求自動化助理捕獲圖像，諸如屏幕快照、照片或其他類型的圖像。然而，自動化助理捕獲圖像的時刻可能由用戶專門控制，從而限制了用戶在嘗試捕獲某些圖像時的自主性。當用戶希望捕獲獨特時刻的視頻或圖像時，用戶可以為相機設置捕獲圖像或初始化視頻記錄的定時器，以便捕獲可能包括該獨特時刻的廣泛時間范圍。然而，這樣的策略可能為了捕獲獨特時刻——可能實際上不需要很多數據來捕獲——導致各種計算資源被消耗。例如，以視頻捕獲嬰兒的微笑可能只需要幾秒鐘的視頻數據——但用戶可能記錄不同長度的多個視頻以便捕獲此相對獨特時刻。
技術實現思路
[0003]本文闡述的一些實施方式涉及自動化助理，該自動化助理允許用戶通過口頭話語指定應當被滿足以便自動化助理控制相機捕獲圖像數據的一個或多個條件。條件可以是但不限于環境的特征，該特征可以在一個時刻和/或一個時間段內通過處理對應傳感器數據而被可視地和/或可聽地觀察到。以這些和其他方式，可以使用單個口頭話語來控制裝置的相機以捕獲獨特時刻，避免用戶直接操縱裝置的需要。附加地，這可以避免用戶在確定何時明確指引相機捕獲圖像數據時監視相機的電子取景器的需要，和/或避免用戶在裝置的接口處提供觸摸輸入以使得圖像數據被捕獲的需要。因此，實施方式提供了在控制相機時簡化的用戶輸入，這樣的單個口頭話語用于響應于環境條件被滿足而控制相機。這樣的實施方式對于具有有限靈活性的用戶特別有益。
[0004]此外，實施方式可以保留包括相機并用于捕獲圖像數據的客戶端裝置的計算機存儲器、磁盤空間和/或電池壽命。例如，實施方式可以防止對當用戶正在嘗試利用相機捕獲特定獨特時刻時生成并存儲的錯誤圖像數據的捕獲。因此，錯誤圖像數據將不占用存儲器和/或磁盤空間，并且在處理這樣的圖像數據時電池壽命將不被無必要地消耗。作為另一示例，一些實施方式可以抑制響應于某些或所有口頭話語而呈現電子取景器，所述口頭話語用于響應于條件被滿足來控制相機，從而保存否則將被這樣的呈現消耗的電池資源。
[0005]作為示例并且根據一些實施方式，用戶可以通過提供諸如“Assistant,take a video of my dog fetching this toy.(助理，拍一段我的狗接這個玩具的視頻)”的口頭話語來請求自動化助理捕獲寵物表演特技的視頻。例如，可以在包括相機的便攜式計算裝置處接收口頭話語，用戶正將該相機定向到寵物的方向上。便攜式計算裝置可以提供對自動化助理的訪問，響應于口頭話語，自動化助理可以處理口頭話語的自然語言內容以便識別在口頭話語中體現的請求。例如，當各種條件被滿足時，自動化助理可以確定用戶正在請
求自動化助理控制相機以捕獲某些圖像數據。然后，自動化助理可以基于口頭話語來識別當在相機捕獲的圖像數據中觀察到狗和玩具時滿足的第一條件。自動化助理還可以識別當確定狗可能開始取回玩具和/或正在取回玩具的過程中時滿足的第二條件。
[0006]在一些實施方式中，自動化助理可以識別一個或多個經過訓練的機器學習模型，所述模型可以在處理數據以確定條件是否被滿足時被使用。例如，可以由自動化助理響應于請求來選擇識別動物時可以使用的特定的經過訓練的機器學習模型，以便輔助處理使用相機生成的圖像數據。替代地或附加地，可以選擇另一經過訓練的機器學習模型來輔助確定圖像數據是否指示已經執行了特定動作(例如，狗接玩具)。替代地或附加地，自動化助理可以依賴于可以用于處理其他數據的一個或多個經過訓練的機器學習模型，所述其他數據可以包括音頻數據、圖像數據、應用數據和/或可以用于確定條件是否已經被滿足的任何其他合適的數據。
[0007]在一些實施方式中，一個或多個經過訓練的機器學習模型可以本地存儲在客戶端裝置上，以便減少發生的某些條件與被辨識的那些某些條件之間的延遲。此外，這可以減少將被卸載到分開的裝置以進行進一步處理的數據量，從而減少網絡流量。在一些實施方式中，當特定的經過訓練的機器學習模型沒有被本地存儲在客戶端裝置處時，可以從遠程服務器或其他裝置下載該特定的經過訓練的機器學習模型。自動化助理可以可選地提供指示，盡管來自用戶的請求可以由自動化助理處理，但是由于網絡活動(例如，下載特定的經過訓練的機器學習模型)，將存在延遲。
[0008]當自動化助理已經接收到來自用戶的請求時，自動化助理可以開始確定第一條件和第二條件是否已經被滿足。在一些實施方式中，這可以涉及處理來自相機的圖像數據和/或來自與計算裝置集成的麥克風的音頻數據。例如，包括狗和玩具的圖像可以滿足第一條件，并且示出用戶將玩具扔離狗的一部分視頻數據可以滿足第二條件。在一些實施方式中，用于確定某些條件是否被滿足的數據可以被臨時存儲在存儲器(例如，RAM)中，但是當條件被滿足時捕獲的媒體數據可以根據來自用戶的請求而被存儲。以該方式，用戶不需要在條件被滿足之前和之后離開相機應用以手動刪除大量圖像數據。相反，用戶可以依賴于自動化助理來確定將作為用戶請求自動化助理生成的文件存儲(例如，在硬盤驅動器空間中)的媒體數據。
[0009]當自動化助理確定條件被滿足時，自動化助理可以使相機從條件被滿足時開始記錄媒體數據。在一些實施方式中，當來自用戶的請求與捕獲單個圖像的請求相對應時，自動化助理可以在一個或多個條件被滿足時使相機捕獲一個或多個圖像。替代地或附加地，當來自用戶的請求與捕獲視頻的請求相對應時，自動化助理可以使相機從所述一個或多個條件被滿足時開始并且在所述一個或多個條件不再被滿足時結束來捕獲視頻。舉例而言，在前述示例中，自動化助理可以確定狗已經完成了接玩具，并且因此第二條件不再被滿足。基于此確定，自動化助理可以使相機不再記錄視頻，并且存儲捕獲的視頻。
[0010]在一些實施方式中，用戶可以通過繼續和他們的狗玩“接玩具”游戲來使自動化助理初始化記錄另一視頻，而不必向自動化助理提供另一口頭話語或其他明確的請求。例如，在自動化助理使相機捕獲狗接玩具的第一視頻之后，自動化助理可以繼續確定第一條件和第二條件是否被滿足。當自動化助理確定用戶已經指引他們的狗再次接玩具時，自動化助理可以確定第一條件和第二條件再次被滿足，并且然后使相機捕獲第二視頻。以此方式，用
戶可以依賴于自動化助理經由相機捕獲獨特時刻，而不必要求用戶直接操縱其便攜式計算裝置。此外，這可以減少當用戶允許其相機記錄長視頻時否則可能消耗的計算資源的浪費，這意味著捕獲比所記錄的視頻的整個持續時間短得多的時刻。
[0011]在一些實施方式中，用戶可以指引自動化助理在自動化助理已經使相機捕獲圖像數據之前、期間和/本文檔來自技高網...
【技術保護點】
【技術特征摘要】
【國外來華專利技術】1.一種由一個或多個處理器實施的方法，所述方法包括：在計算裝置處接收指向可經由所述計算裝置訪問的自動化助理的口頭話語，其中，所述計算裝置還提供對相機的訪問；基于所述口頭話語，確定用戶正在指引所述自動化助理根據一個或多個條件是否被滿足來控制所述相機；其中，所述一個或多個條件在所述口頭話語的自然語言內容中被描述；基于所述自動化助理可用的數據，確定所述一個或多個條件是否被滿足；以及當所述一個或多個條件被滿足時：使所述相機捕獲圖像數據。2.根據權利要求1所述的方法，其中，確定所述用戶正在指引所述自動化助理根據一個或多個條件是否被滿足來控制所述相機包括：基于所述口頭話語的所述自然語言內容，訪問基于所述相機的操作的當前圖像數據，以及基于所述當前圖像數據中存在的一個或多個對象，偏置對與所述口頭話語相對應的音頻數據的處理。3.根據權利要求1或權利要求2所述的方法，其中，確定所述一個或多個條件是否被滿足包括：響應于接收到所述口頭話語，處理捕獲所述計算裝置或另一計算裝置的環境中的音頻的其他音頻數據，以及確定所述其他音頻數據是否包括滿足所述一個或多個條件的一個或多個音頻特征。4.根據權利要求1或權利要求2所述的方法，其中，確定所述一個或多個條件是否被滿足包括：響應于接收到所述口頭話語，處理捕獲所述計算裝置或另一計算裝置的環境的一個或多個視覺特征的其他圖像數據，以及確定所述一個或多個視覺特征是否滿足所述一個或多個條件。5.根據前述權利要求中的任一項所述的方法，其中，使所述相機捕獲所述圖像數據包括：基于所述口頭話語的所述自然語言內容修改所述相機的一個或多個設置，其中，所述圖像數據在所述相機正在根據所述一個或多個設置操作時被捕獲。6.根據權利要求1或權利要求2所述的方法，其中，確定所述一個或多個條件是否被滿足包括：響應于接收到所述口頭話語，處理指示可經由所述計算裝置或另一計算裝置訪問的應用的狀態的應用數據，以及確定所述應用的所述狀態是否滿足所述一個或多個條件。7.根據前述權利要求中的任一項所述的方法，其中，所述計算裝置是便攜式計算裝置，并且所述口頭話語在所述用戶正在操縱所述便攜式計算裝置時被接收。8.根據權利要求7所述的方法，其中，在所述用戶提供所述口頭話語之后不直接接觸所述計算裝置的任何可編程觸摸接口的情況下，使所述相機捕獲所述圖像數據被執行。9.一種由一個或多個處理器實施的方法，所述方法包括：
在計算裝置處接收來自用戶的輸入，其中，所述計算裝置提供對自動化助理和相機的訪問；基于所述輸入確定所述輸入是對所述自動化助理根據一個或多個條件操作所述相機的請求，其中，所述一個或多個條件在所述輸入的自然語言內容中被指定；基于所述一個或多個條件訪問一個或多個經過訓練的機器學習模型，其中，所述自動化助理訪問所述一個或多個經過訓練的機器學習模型以輔助識別所述計算裝置或另一計算裝置的環境的一個或多個特征；使用所述一個或多個經過訓練的機器學習模型來處理表征所述計算裝置或另一計算裝置的所述環境的一個或多個當前特征的數據；基于所述數據確定所述環境的所述一個或多個當前特征是否滿足所述一個或多個條件，其中，當所述計算裝置或另一計算裝置的所述環境展示一個或多個指定特征時，所述一個或多個條件被滿足；當確定所述一個或多個條件被滿足時：使所述相機捕獲圖像數據。10.根據權利要求9所述的方法，其中，當所述環境的當前特征展示特定屬性時，所述一個或多個條件中的條件被滿足，以及其中，處理...
【專利技術屬性】
技術研發人員：費利克斯，
申請(專利權)人：谷歌有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。