媒體流傳送中的動態軌道切換制造技術

一種切換模塊被適配成配置源緩沖器與再現管線之間的切換。所述切換的每個切換具有一個或多個選擇輸入，其每個表示來自所述源緩沖器中的一個源緩沖器的對于媒體軌道的已編碼數據。所述切換的每個切換還具有選擇輸出，所述選擇輸出與用于解碼和再現的再現管線中的一個再現管線相關聯。所述切換模塊被進一步適配成使用所述切換來管理所述媒體軌道中的哪些媒體軌道（如果有的話）具有在媒體流傳送期間被路由到所述再現管線的已編碼數據。所述再現管線可以包括視頻再現管線和一個或多個音頻再現管線，其中所述切換模塊是被適配成確定所述（一個或者多個）音頻再現管線的一個音頻再現管線中的時鐘源的媒體引擎的一部分，以及，所述時鐘源用于驅動所述媒體軌道的同步。

【技術實現步驟摘要】
【國外來華專利技術】
技術介紹
對于媒體流傳送場景中的媒體回放的常見挑戰在于如何處理媒體軌道切換以及無縫地添加或移除媒體軌道。另一個挑戰在于例如當源被添加或移除時如何處理對于媒體內容源的改變。一種可能的解決方案是允許多個軌道同時被解碼，其中僅所選擇的軌道被再現到顯示器或揚聲器。例如，每個軌道可以被發送給單獨的解碼器，以及軌道中所選擇的一個軌道可以輸出到單獨的再現器。然而，這在用于媒體內容的流傳送的系統資源成本、功率消耗和網絡帶寬成本方面具有負面含義。另一種可能的解決方案是以更強力的方式切換軌道（例如音頻軌道），其中，系統嘗試通過盡力而為的方法使來自視頻流的樣本和來自音頻流的樣本的回放同步。然而，以幾乎沒有假信號（glitch）或無縫的方式連續保持視頻樣本和音頻樣本同步是具有挑戰性的。
技術實現思路
總的來說，描述了用于管理媒體流傳送期間的動態軌道切換的創新。例如，采用切換模塊，媒體引擎配置一個或多個源緩沖器與一個或多個再現管線之間的一個或多個切換；并且使用所述（一個或者多個）切換來管理媒體軌道中的哪些媒體軌道（如果有的話）具有在媒體流傳送期間被路由到所述（一個或者多個）再現管線的已編碼數據。所述切換的每個切換可以具有：一個或多個選擇輸入，其每個表示來自所述（一個或者多個）源緩沖器中一個源緩沖器的媒體軌道的已編碼數據；以及選擇輸出，其與用于解碼和再現的（一個或者多個）再現管線中的不同的一個再現管線相關聯。這樣，所述媒體引擎可以動態地管理媒體流傳送中的軌道切換。動態軌道切換的管理可以作為一種方法的一部分、作為一種被適配成執行所述方法的計算機系統的一部分或作為一種存儲用于促使計算機系統執行所述方法的計算機可執行指令的有形計算機可讀介質的一部分來實現。例如，一種計算機系統實例化切換模塊；配置在一個或多個源緩沖器與一個或多個再現管線之間的切換模塊的一個或多個切換；以及使用所述（一個或者多個）切換來管理來自所述（一個或者多個）源緩沖器的媒體軌道中的哪些媒體軌道（如果有的話）具有在媒體流傳送期間被路由到所述（一個或者多個）再現管線的已編碼數據。所述（一個或者多個）切換的每個切換可以具有：一個或多個選擇輸入，其每個表示來自所述（一個或者多個）源緩沖器中一個源緩沖器的媒體軌道的已編碼數據；以及選擇輸出，其與所述（一個或者多個）再現管線中的不同的一個再現管線相關聯。或者，作為另一示例，一種計算機系統實現流媒體處理管線。所述流媒體處理管線包括一個或多個源緩沖器和由應用編程接口（“API”）與所述（一個或者多個）源緩沖器分離的媒體引擎。所述媒體引擎包括一個或多個再現管線和切換模塊，其中所述（一個或者多個）再現管線包括視頻再現管線和一個或多個音頻再現管線。所述視頻再現管線包括視頻解碼器和視頻再現器，以及，所述（一個或者多個）音頻再現管線的每個包括音頻解碼器和音頻再現器。所述切換模塊被適配成：配置所述（一個或者多個）源緩沖器與所述（一個或者多個）再現管線之間的一個或多個切換；以及使用所述切換來管理所述媒體軌道中的哪些媒體軌道（如果有的話）具有在媒體流傳送期間被路由到所述（一個或者多個）再現管線的已編碼數據。所述（一個或者多個）切換的每個切換可以具有：一個或多個選擇輸入，其每個表示來自所述（一個或者多個）源緩沖器中一個源緩沖器的媒體軌道的已編碼數據；以及選擇輸出，其與所述（一個或者多個）再現管線中的不同的一個再現管線相關聯。所述切換模塊可以作為在媒體流傳送期間對媒體軌道的管理的一部分，被適配成對哪個媒體軌道具有被路由到所述（一個或者多個）再現管線中的一個再現管線的已編碼數據進行切換，以及添加或移除媒體軌道，作為所述（一個或者多個）切換中的一個切換的選擇輸入。從下面參考附圖進行的詳細描述中，本專利技術的前述和其他目的、特征和優點將變得顯而易見。附圖說明圖1-5是流程圖，其圖示了用于采用切換模塊實現切換操作的示例方法。圖6是具有切換模塊的示例體系結構的圖，所述體系結構包括一個視頻再現管線和一個音頻再現管線。圖7是具有切換模塊的示例體系結構的圖，所述體系結構包括一個視頻再現管線和多個音頻再現管線。圖8是可實現某些所描述的創新的示例計算機系統的框圖。具體實施方式描述了用于管理媒體流傳送期間的動態軌道切換的創新。例如，切換模塊可以配置源緩沖器與再現管線之間切換；以及使用所述切換來管理來自所述源緩沖器中的一個源緩沖器的媒體軌道中的哪些媒體軌道（如果有的話）具有在媒體流傳送期間被路由到所述再現管線的已編碼數據。所述切換的每個切換可以具有一個或多個選擇輸入，其每個表示來自所述源緩沖器中的一個源緩沖器的媒體軌道的已編碼數據；以及選擇輸出，其與用于解碼和再現的再現管線中不同的一個再現管線相關聯。在常見使用場景中，切換模塊可以動態地管理媒體流傳送中的軌道切換，例如，響應于用戶輸入或其他輸入之一而切換媒體軌道、添加或移除媒體軌道作為所述切換中的一個切換的選擇輸入、或者甚至添加或移除源緩沖器并然后更新所述切換的選擇輸入。這樣，甚至當所述再現管線在媒體流傳送期間是固定的時，所述切換模塊可以在媒體流傳送期間動態地適配于源緩沖器、媒體軌道或用戶選擇的改變。所述切換模塊由此可以為計算機系統中具有固定功能性的媒體再現管線提供自適應的前端。在媒體切換模塊的某些實現方式中，在各種媒體流傳送場景中，本創新使得能實現：（a）使用所述媒體切換模塊的無縫媒體軌道切換操作；（b）使用所述媒體切換模塊對媒體軌道的無縫添加或移除；（c）在保持軌道全部都同步的同時對多個音頻軌道和視頻軌道的無縫回放；以及（d）對關于軌道切換的元數據的信號傳送，以便采用媒體回放應用或系統來支持交互式控制操作。在本文中描述的創新的各種方面可以組合地或分離地使用。用于管理媒體流傳送中的切換的技術圖1是圖示了用于采用切換模塊管理切換操作的一種示例方法的流程圖。切換模塊可以是操作系統的媒體引擎的一部分或另一媒體處理工具的一部分。在圖1-5中，相同的參考數字指代相同元件，并且因此將省略重復的描述。在110處，切換模塊配置一個或多個源緩沖器與一個或多個再現管線之間的一個或多個切換。每個切換關聯于（一個或多個）再現管線中不同的一個再現管線。（一個或多個）再現管線可以包括視頻再現管線和一個或多個音頻再現管線。（一個或多個）源緩沖器和媒體軌道在媒體流傳送期間是動態的，而（一個或多個）再現管線在媒體流傳送期間是固定的。每個切換被配置為接收媒體軌道中的一個或多個媒體軌道作為選擇輸入，以及被配置為輸出所選媒體軌道作為對用于進行解碼和再現的對應再現管線的選擇輸出。切換模塊確定哪些媒體軌道將被路由到每個切換，以便進行向再現管線的潛在輸出。由于選擇輸入的數量可以隨回放會話的過程而變化，所以切換模塊對（一個或多個）切換進行管理，以確保媒體軌道被適當地路由到合適的切換。在130處，切換模塊使用（一個或多個）切換來管理哪些媒體軌道（如果有的話）具有被路由到（一個或多個）再現管線的已編碼數據。每個切換管理對于該切換的選擇輸入的媒體軌道中的哪些媒體軌道（如果有的話）具有在媒體流傳送期間被路由到與該切本文檔來自技高網...

【技術保護點】
一個或多個存儲計算機可執行指令的計算機可讀介質，所述計算機可執行指令用于促使處理器由此被編程以實現切換模塊，所述切換模塊被適配成：配置一個或多個源緩沖器與一個或多個再現管線之間的一個或多個切換，所述一個或多個切換中的每個切換具有：　　一個或多個選擇輸入，其每個表示來自所述一個或多個源緩沖器中的一個源緩沖器的對于媒體軌道的已編碼數據；以及　　選擇輸出，其與用于解碼和再現的所述一個或多個再現管線中的不同的一個再現管線相關聯；以及使用所述一個或多個切換來管理以下內容，即：如果存在媒體軌道的話，則所述媒體軌道中的哪些媒體軌道具有在媒體流傳送期間被路由到所述一個或多個再現管線的已編碼數據。

【技術特征摘要】
【國外來華專利技術】2013.04.01 US 13/8548491.一個或多個存儲計算機可執行指令的計算機可讀介質，所述計算機可執行指令用于促使處理器由此被編程以實現切換模塊，所述切換模塊被適配成：
配置一個或多個源緩沖器與一個或多個再現管線之間的一個或多個切換，所述一個或多個切換中的每個切換具有：
一個或多個選擇輸入，其每個表示來自所述一個或多個源緩沖器中的一個源緩沖器的對于媒體軌道的已編碼數據；以及
選擇輸出，其與用于解碼和再現的所述一個或多個再現管線中的不同的一個再現管線相關聯；以及
使用所述一個或多個切換來管理以下內容，即：如果存在媒體軌道的話，則所述媒體軌道中的哪些媒體軌道具有在媒體流傳送期間被路由到所述一個或多個再現管線的已編碼數據。
2.根據權利要求1所述的一個或多個計算機可讀介質，其中所述一個或多個再現管線中的每個再現管線包括媒體解碼器和媒體再現器。
3.根據權利要求1所述的一個或多個計算機可讀介質，其中所述切換模塊被進一步適配成，作為在所述媒體流傳送期間對所述媒體軌道的管理的一部分：
對哪個媒體軌道具有被路由到所述一個或多個再現管線中的一個再現管線的已編碼數據進行切換。
4.根據權利要求1所述的一個或多個計算機可讀介質，其中所述切換模塊被進一步適配成，作為在所述媒體流傳送期間對所述媒體軌道的管理的一部分：
添加或移除媒體軌道，作為所述一個或多個切換中的一個切換的選擇輸入。
5.根據權利要求1所述的一個或多個計算機可讀介質，其中所述一個或多個再現管線在所述媒體流傳送期間是固定的，并且所述一個或多個源緩沖器在所述媒體流傳送期間是動態的。
6.根據權利要求1所述的一個或多個計算機可讀介質，其中所述一個或多個再現管線包括視頻再現管線和一個或多個音頻再現管線。
7.根據權利要求6所述的一個或多個計算機可讀介質，其中所述媒體軌道包括一個或多個音頻軌道和一個或多個視頻軌道，其中所述切換模塊是被適配成確定所述一個或多個音頻再現管線中的一個音頻再現管線中的時鐘源的媒體引擎的一部分，并且其中所述切換模塊被進一步適配成，作為在所述媒體流傳送期間對所述媒體軌道的管理的一部分：
選擇所述一個或多個音頻軌道中的第一音頻軌道，其中對于所述第一音頻軌道的已編碼數據被路由到包括所述時鐘源的音頻再現管線；以及
選擇所述一個或多個視頻軌道中的第一視頻軌道，其中對于所述第一視頻軌道的已編碼數據被路由到所述視頻再...

【專利技術屬性】
技術研發人員：SJ埃斯特羅普，M霍華德，M斯坦基維奇，孫式軍，
申請(專利權)人：微軟技術許可有限責任公司，
類型：發明
國別省市：美國;US