視頻穩(wěn)定制造技術(shù)

一種用于傳送來自用戶設(shè)備的視頻信號的方法、設(shè)備和計算機(jī)程序產(chǎn)品。在用戶設(shè)備上，使用攝像機(jī)來捕獲多個視頻信號幀。設(shè)備的功能狀態(tài)將被確定，并且在傳輸之前，基于所述功能狀態(tài)來有選擇地穩(wěn)定所述視頻信號。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及視頻信號的穩(wěn)定（stabilisation）。特別地，本專利技術(shù)涉及使用攝像機(jī)捕獲視頻信號幀并對攝像機(jī)的運動進(jìn)行補償，從而穩(wěn)定視頻信號。
技術(shù)介紹
攝像機(jī)可被用于捕獲作為視頻信號幀使用的圖像的序列。可以將攝像機(jī)固定到穩(wěn)定的物體，例如可以將攝像機(jī)安裝在三腳架之類的支架上，從而在捕獲視頻幀的時候保持?jǐn)z像機(jī)靜止。然而，攝像機(jī)經(jīng)常是在移動設(shè)備中實現(xiàn)的，并且未必安裝在固定的物體上，例如，攝像機(jī)可能會被保持或是位于車輛之類的運動物體上。在攝像機(jī)捕獲視頻信號幀時，攝像機(jī)的移動可能導(dǎo)致視頻信號本身出現(xiàn)不希望的移動。圖像穩(wěn)定處理是一種可以用于補償視頻信號中的不希望移動的方法。一些系統(tǒng)執(zhí)行運動估計來產(chǎn)生供圖像穩(wěn)定處理使用的運動矢量。在Julan?Yang等人發(fā)表的“Online?Video?Stabilization?Based?on?Particle?Filters”一文中描述了一種這樣的系統(tǒng)。圖像穩(wěn)定算法可以包括三個主要部分：運動估計、運動平滑以及運動補償。運動估計部件可以估計視頻信號內(nèi)部的局部運動矢量，并且基于這些局部估計來計算全局運動矢量。然后，運動平滑部件可以處理針對所估計的全局運動矢量所進(jìn)行的濾波，以便平滑計算得到的值以及防止在先前計算的運動矢量之間出現(xiàn)很大的不希望的差別。之后，運動補償部件可以在與已濾波的全局運動矢量相反的方向上移動圖像，從而穩(wěn)定視頻信號。所述運動補償部件可以對旋轉(zhuǎn)、扭曲或縮放之類的復(fù)雜變換加以考慮。為了如上所述基于運動矢量來執(zhí)行圖像穩(wěn)定處理，那么有可能需要大量的處理資源。在要實時穩(wěn)定視頻信號、也就是在攝像機(jī)捕獲視頻信號的同時使用（例如在視頻呼叫中傳送或者從設(shè)備中輸出）穩(wěn)定版本的視頻信號的時候，這有可能會成為一個問題。此外，在執(zhí)行圖像穩(wěn)定處理的設(shè)備是移動電話這類處理資源有限的小型移動設(shè)備的時候同樣有可能會出現(xiàn)問題。近年來，運動傳感器的制造已經(jīng)變得更加簡單和廉價，并且運動傳感器的大小也顯著變小。現(xiàn)在，在移動設(shè)備中實現(xiàn)運動傳感器是可行的。運動傳感器產(chǎn)生代表傳感器運動的采樣。在Andy?L.?Lin發(fā)表的“Using?Sensors?for?Efficient?Video?Coding?in?Hand-held?devices”以及Martin?Drahansk?等人發(fā)表的“Accelerometer?Based?Digital?Video?Stabilization?for?General?Security?Surveillance?Systems”這兩篇現(xiàn)有文獻(xiàn)中述及了使用源自運動傳感器的數(shù)據(jù)來穩(wěn)定視頻信號的可能性。已知的處理工具“VirtualDub”提供了需要修剪視頻信號的離線穩(wěn)定處理（也就是非實時）。在英國申請1109071.9中提出了一種用于在線（即實時）發(fā)送側(cè)數(shù)字穩(wěn)定的機(jī)制。該機(jī)制在很多情形中都是有效的，但其需要修剪所傳送的視頻。而這有可能會影響所傳送的視頻的質(zhì)量。
技術(shù)實現(xiàn)思路
根據(jù)本專利技術(shù)的一個方面，提供了一種從用戶設(shè)備傳送視頻信號的方法，該方法包括：在用戶設(shè)備上使用攝像機(jī)捕獲多個視頻信號幀；確定設(shè)備的功能狀態(tài)；以及在進(jìn)行傳輸之前，基于功能狀態(tài)來有選擇地穩(wěn)定視頻信號。優(yōu)選地，所述功能狀態(tài)是攝像機(jī)的運動程度，該方法包括：監(jiān)視攝像機(jī)的運動并且將其與一個閾值相比較。所述監(jiān)視可以包括：使用與攝像機(jī)相關(guān)聯(lián)的運動傳感器來產(chǎn)生代表攝像機(jī)運動的多個采樣；使用這些采樣來確定攝像機(jī)在所述攝像機(jī)捕獲的連續(xù)幀之間的位移；以及確定代表所確定的攝像機(jī)位移所導(dǎo)致的連續(xù)幀之間視頻信號中的運動的像素位移，并且該方法還包括：將像素位移與閾值進(jìn)行比較；如果像素位移超出所述閾值，則在傳輸之前穩(wěn)定所述視頻信號；否則在不實施穩(wěn)定處理的情況下傳送視頻信號。優(yōu)選地，攝像機(jī)的運動是旋轉(zhuǎn)運動，運動傳感器是旋轉(zhuǎn)運動傳感器，并且攝像機(jī)的位移是攝像機(jī)的角位移。用戶設(shè)備包括前向攝像機(jī)和后向攝像機(jī)，當(dāng)功能狀態(tài)是選擇了前向攝像機(jī)時，這時可以在不執(zhí)行穩(wěn)定處理的情況下傳送視頻信號。優(yōu)選地，在選擇了設(shè)備的后向攝像機(jī)的時候，這時可以對視頻信號進(jìn)行穩(wěn)定。優(yōu)選地，使用運動傳感器產(chǎn)生的采樣的采樣率要高于視頻信號的幀速率。攝像機(jī)和運動傳感器可以安裝在移動設(shè)備內(nèi)部。穩(wěn)定視頻信號的步驟可以包括：對像素位移進(jìn)行濾波；以及根據(jù)已濾波的像素位移來移動第一和第二幀中的至少一個幀的圖像。對像素位移進(jìn)行濾波的步驟可以包括：基于所述為第二個幀確定的像素位置來確定累積像素位移；以及基于為第二個幀確定的累積像素位移與用于第一個幀的已濾波累積像素位移的加權(quán)總和來確定用于第二個幀的已濾波累積像素位移。優(yōu)選地，向下列各項中的至少一項中添加時間偏移：（i）所捕獲的多個幀；以及（2）所產(chǎn)生的多個采樣，以使所捕獲的多個幀的定時與所產(chǎn)生的多個采樣的定時相匹配。如果像素位移超出閾值，則可以使用定時器來確定是否經(jīng)過了預(yù)先確定的時段，并且只有在經(jīng)過了該時段的時候才穩(wěn)定所述視頻信號。如果像素位移沒有超出所述閾值，則可以復(fù)位該定時器。根據(jù)本專利技術(shù)的第二個方面，提供了一種用于穩(wěn)定視頻信號的設(shè)備，該設(shè)備包括：被配置成捕獲視頻信號的多個幀的攝像機(jī)；用于確定設(shè)備的功能狀態(tài)的裝置；以及用于在傳輸之前基于所述功能狀態(tài)來有選擇地穩(wěn)定所述視頻信號的裝置。優(yōu)選地，所述功能狀態(tài)是攝像機(jī)的運動程度，該設(shè)備包括：用于監(jiān)視攝像機(jī)運動并且將其與一個閾值相比較的裝置。該設(shè)備還可以包括：與攝像機(jī)相關(guān)聯(lián)的運動傳感器，其被配置成產(chǎn)生代表攝像機(jī)運動的多個采樣；像素位移確定部件，其被配置成使用所述采樣來確定攝像機(jī)在該攝像機(jī)捕獲的連續(xù)幀之間的像素位移，所述像素位移代表攝像機(jī)運動所導(dǎo)致的連續(xù)幀之間的視頻信號運動；比較部件，其被配置成將像素位移與一個預(yù)定閾值相比較；以及運動補償部件，其被配置成：在傳輸之前，如果像素位移超出所述閾值，則穩(wěn)定所述視頻信號，否則，在傳輸之前不實現(xiàn)穩(wěn)定處理。優(yōu)選地，攝像機(jī)的運動是旋轉(zhuǎn)運動，運動傳感器是旋轉(zhuǎn)運動傳感器，并且攝像機(jī)的位移是攝像機(jī)的角位移。所述運動傳感器可以是陀螺儀運動傳感器。所述設(shè)備可以是移動設(shè)備。根據(jù)本專利技術(shù)的第三個方面，提供了一種用于穩(wěn)定視頻信號的計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包含在非暫時性的計算機(jī)可讀介質(zhì)中，并且被配置成當(dāng)在設(shè)備處理器上運行的時候執(zhí)行權(quán)利要求1-13中的任一權(quán)利要求的操作。專利技術(shù)人已經(jīng)認(rèn)識到，為了最大化輸出視頻的分辨率，希望僅僅在需要的時候?qū)崿F(xiàn)視頻穩(wěn)定處理，以免不必要地修剪所傳送的視頻信號。附圖說明為了更好地理解本專利技術(shù)以及顯示如何實施本專利技術(shù)，現(xiàn)在將通過示例方式參考以下附圖，其中：圖1a和1b顯示了根據(jù)優(yōu)選實施例的設(shè)備；圖2是根據(jù)優(yōu)選實施例的用于穩(wěn)定視頻信號的處理的流程圖；圖3是根據(jù)優(yōu)選實施例的監(jiān)視處理的流程圖；圖4是隨時間推移的攝像機(jī)快門位置的例示圖形表示；圖5是隨時間推移的攝像機(jī)的角速度的例示圖形表示；圖6是根據(jù)優(yōu)選實施例的穩(wěn)定處理的流程圖；以及圖7是修剪處理前后的圖像的表示。具體實本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種傳送來自用戶設(shè)備（100）的視頻信號的方法，該方法包括：在用戶設(shè)備（100）上使用攝像機(jī)（102，104）來捕獲多個視頻信號幀；確定設(shè)備（100）的功能狀態(tài)；以及在進(jìn)行傳輸之前，基于功能狀態(tài)來有選擇地穩(wěn)定視頻信號。

【技術(shù)特征摘要】
2011.09.26 GB 1116566.9;2011.11.30 US 13/3078001.一種傳送來自用戶設(shè)備（100）的視頻信號的方法，該方法包括：
在用戶設(shè)備（100）上使用攝像機(jī)（102，104）來捕獲多個視頻信號幀；
確定設(shè)備（100）的功能狀態(tài)；以及
在進(jìn)行傳輸之前，基于功能狀態(tài)來有選擇地穩(wěn)定視頻信號。
2.權(quán)利要求1的方法，其中所述功能狀態(tài)是攝像機(jī)（102，104）的運動程度，該方法包括：
監(jiān)視攝像機(jī)（102，104）的運動并且將其與閾值相比較。
3.權(quán)利要求2的方法，其中所述監(jiān)視包括：
使用與攝像機(jī)（102，104）相關(guān)聯(lián)的運動傳感器（110）來產(chǎn)生代表攝像機(jī)（102，104）運動的多個采樣；
使用這些采樣來確定攝像機(jī)（102，104）在所述攝像機(jī)（102，104）捕獲的連續(xù)幀之間的位移；以及
確定代表所確定的攝像機(jī)（102，104）位移所導(dǎo)致的連續(xù)幀之間的視頻信號中的運動的像素位移，該方法還包括：
將像素位移與閾值進(jìn)行比較；
如果像素位移超出所述閾值，則在傳輸之前穩(wěn)定所述視頻信號；以及
否則在不實施穩(wěn)定處理的情況下傳送視頻信號，
其中攝像機(jī)（102，104）的運動是旋轉(zhuǎn)運動，運動傳感器（110）是旋轉(zhuǎn)運動傳感器，并且攝像機(jī)（102，104）的位移是攝像機(jī)（102，104）的角位移。
4.權(quán)利要求1的方法，其中用戶設(shè)備（100）包括前向攝像機(jī)（104）和后向攝像機(jī)（102），以及功能狀態(tài)是...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：C奧文，P卡爾森，
申請(專利權(quán))人：斯凱普公司，
類型：發(fā)明
國別省市：