用于處理圖像或視頻數(shù)據(jù)的方法和系統(tǒng)技術(shù)方案

在此公開了一種分布式圖像/視頻處理系統(tǒng)，其中，一個或多個數(shù)字圖像/視頻記錄裝置(例如，數(shù)字照相機，錄像機，或智能電話，等等)與中心網(wǎng)絡(luò)站點進行網(wǎng)絡(luò)通信，用于傳輸圖像或視頻數(shù)據(jù)。所述記錄裝置依賴于對網(wǎng)絡(luò)帶寬測量值的估計處理它們的圖像/視頻數(shù)據(jù)，該網(wǎng)絡(luò)帶寬是可用于傳輸圖像或視頻數(shù)據(jù)到所述中心網(wǎng)絡(luò)站點的網(wǎng)絡(luò)帶寬。

【技術(shù)實現(xiàn)步驟摘要】
用于處理圖像或視頻數(shù)據(jù)的方法和系統(tǒng)
本申請涉及網(wǎng)絡(luò)上的數(shù)據(jù)的分布式處理，其中在客戶端網(wǎng)絡(luò)節(jié)點執(zhí)行的處理至少部分地由網(wǎng)絡(luò)傳輸特征或限制決定，特別地，本申請涉及當數(shù)據(jù)為圖像或視頻時的這種分布式處理。
技術(shù)介紹
處理圖片(圖像)和/或視頻數(shù)字數(shù)據(jù)的計算量大且占用大量數(shù)據(jù)存儲空間。對于許多具有產(chǎn)生數(shù)字圖像(照片)和/或視頻的能力的通信設(shè)備(例如，移動電話)，這些設(shè)備具有的處理和/或存儲能力不足以完全合適地駐留于所述設(shè)備中。因此，期望在通信網(wǎng)絡(luò)中的一個或更多個具有比較大的數(shù)據(jù)處理及存儲能力的中心站點上存儲并在某些情況下至少部分地處理這種圖像/視頻數(shù)據(jù)。然而，當大量網(wǎng)絡(luò)用戶向這種中心網(wǎng)絡(luò)站點傳輸圖像/視頻數(shù)據(jù)時，由于相應(yīng)的高數(shù)據(jù)量圖像/視頻數(shù)據(jù)可能在網(wǎng)絡(luò)上傳輸，所以網(wǎng)絡(luò)性能可能會明顯下降。因此，一個解決方案是限制用戶例如在一天、一周或一個月內(nèi)在網(wǎng)絡(luò)上傳輸?shù)膱D像/視頻數(shù)據(jù)量，這個方案缺點很明顯，因為用戶越來越相信“聰明”的電信網(wǎng)絡(luò)應(yīng)該“智能地”執(zhí)行用戶的網(wǎng)絡(luò)請求至可能的程度，以及在執(zhí)行這類請求時無需用戶具備較詳細的網(wǎng)絡(luò)通信知識。因此，為了解決上述問題，期望提供更“智能”的技術(shù)來管理及傳輸電信網(wǎng)絡(luò)上的圖像/視頻數(shù)據(jù)。特別地，期望根據(jù)當前網(wǎng)絡(luò)傳輸特征動態(tài)改變用戶在網(wǎng)絡(luò)上傳輸?shù)膱D像/視頻數(shù)據(jù)量，其中，執(zhí)行網(wǎng)絡(luò)傳輸?shù)倪@種動態(tài)改變對用戶基本上透明，并且可以基本上保持這種圖像/視頻數(shù)據(jù)的呈現(xiàn)/顯示質(zhì)量。
技術(shù)實現(xiàn)思路
在此公開了一種分布式圖像/視頻處理系統(tǒng)，其中一個或更多(優(yōu)選多個)數(shù)字圖像或視頻記錄裝置(每個例如是數(shù)字照相機、錄像機，或多功能設(shè)備例如智能電話或筆記本電腦)與中心網(wǎng)絡(luò)站點通信以向其傳輸圖像或視頻數(shù)據(jù)。記錄裝置基本上依賴于對可用于傳輸圖像或視頻數(shù)據(jù)(或其版本)到中心網(wǎng)絡(luò)站點的網(wǎng)絡(luò)帶寬的測量或估計量，來處理它們的圖像或視頻數(shù)據(jù)。尤其是，記錄裝置對這種獲取的圖像/視頻數(shù)據(jù)進行圖像或視頻處理，以適于在傳輸記錄裝置處理過的圖像/視頻數(shù)據(jù)到中心網(wǎng)絡(luò)站點時保持可接受的高效(快速)傳輸時間。特別地，每個這種記錄裝置以這樣的方式執(zhí)行圖像/視頻增強處理及圖像/視頻壓縮技術(shù)：根據(jù)對當前可用網(wǎng)絡(luò)帶寬的測量改變在網(wǎng)絡(luò)上傳輸?shù)慕Y(jié)果圖像/視頻數(shù)據(jù)的量。一個實施例中，詞組“當前可用的網(wǎng)絡(luò)帶寬”及例如“可用網(wǎng)絡(luò)帶寬”的類似等同含義詞組是指在特定時間或特定時間間隔中兩個預(yù)定網(wǎng)絡(luò)連接點之間的網(wǎng)絡(luò)的估計合理最大數(shù)據(jù)率或吞吐量、與所述兩個預(yù)定網(wǎng)絡(luò)連接點之間的網(wǎng)絡(luò)當前實際數(shù)據(jù)率或吞吐量的估計值之間的差值。假設(shè)至少存在兩個預(yù)定網(wǎng)絡(luò)連接點之間的網(wǎng)絡(luò)的數(shù)據(jù)率或吞吐量的總體估計值，其中，該總體估計值被看作是合理最大值(考慮到可能會發(fā)生改變網(wǎng)絡(luò)配置和網(wǎng)絡(luò)負載均衡)，可通過測量在一個或更多特定網(wǎng)絡(luò)站點(例如，所述兩個預(yù)定網(wǎng)絡(luò)連接點的一個或兩個)處的一個或更多當前網(wǎng)絡(luò)數(shù)據(jù)傳輸速率或數(shù)據(jù)吞吐量，從中確定綜合(composite)(例如，平均)的當前網(wǎng)絡(luò)數(shù)據(jù)傳輸速率或數(shù)據(jù)吞吐量，然后從總體(最大)估計值減去綜合的當前數(shù)據(jù)傳輸速率或數(shù)據(jù)吞吐量，來估計“可用網(wǎng)絡(luò)帶寬”。可選的，可通過使用網(wǎng)絡(luò)傳輸時間延遲(例如，在兩個網(wǎng)絡(luò)連接點之間)確定網(wǎng)絡(luò)帶寬的這種合理最大估計值。舉例來說，如本領(lǐng)域技術(shù)人員可以理解的，可通過測量例如所述兩個預(yù)定網(wǎng)絡(luò)連接點之間的一個或更多個ping(網(wǎng)絡(luò)封包探索)的時間延遲來確定這種最大帶寬估計值。例如，如果確定了兩個網(wǎng)絡(luò)連接點之間的最大可接受時間延遲，則可通過從最大可接受時間延遲減去所述兩個網(wǎng)絡(luò)連接點之間的網(wǎng)絡(luò)時間延遲的當前(或最近)測量值來確定可用網(wǎng)絡(luò)帶寬的指示，以估計“可用網(wǎng)絡(luò)帶寬”。需要注意的是，雖然基于數(shù)據(jù)傳輸速率或吞吐量的“可用網(wǎng)絡(luò)帶寬”的測量值隨上述數(shù)據(jù)傳輸速率或吞吐量的差值單調(diào)遞增，但基于網(wǎng)絡(luò)時間延遲的“可用網(wǎng)絡(luò)帶寬”的相應(yīng)測量值則是與上述網(wǎng)絡(luò)傳輸時間延遲的差值成相反關(guān)系。一個實施例中，可通過分析網(wǎng)絡(luò)數(shù)據(jù)率和/或(ping)時間延遲的歷史測量值確定可用網(wǎng)絡(luò)帶寬的測量值，并確定應(yīng)當將哪個測量值作為網(wǎng)絡(luò)帶寬的合理最大估計值。如本領(lǐng)域人員可以理解的，例如，可將歷史測量值的第一和第二標準差之間的邊界值作為這種合理最大估計值。因此，當可用網(wǎng)絡(luò)帶寬低(例如，相對于待傳輸數(shù)據(jù)的類型，尺寸或數(shù)據(jù)率)時，這種圖像/視頻記錄裝置會以減少(或不明顯增加)數(shù)據(jù)量的方式進行圖像/視頻增強處理，然后再使用可充分減少待在網(wǎng)絡(luò)中傳輸?shù)街行木W(wǎng)絡(luò)站點的結(jié)果圖像/視頻數(shù)據(jù)量的激進(aggressive)壓縮技術(shù)壓縮增強后的圖像/視頻數(shù)據(jù)，從而減少對可用網(wǎng)絡(luò)帶寬的影響，如果不進行或進行極小的壓縮則會存在這樣的影響。而且，為了保持圖像/視頻數(shù)據(jù)的顯示質(zhì)量，在網(wǎng)絡(luò)傳輸?shù)街行恼军c前還由記錄裝置以依賴于要施加的數(shù)據(jù)壓縮量的方式對圖像/視頻數(shù)據(jù)應(yīng)用降噪技術(shù)。例如，當記錄裝置確定還將要應(yīng)用更激進的數(shù)據(jù)壓縮技術(shù)時，對圖像數(shù)據(jù)應(yīng)用更健壯的降噪(也稱之為“去噪”)技術(shù)。這樣，增大的去噪將抵消增大的數(shù)據(jù)壓縮的至少一些影響，從而可以在減少網(wǎng)絡(luò)流量的同時維持用于可接受質(zhì)量的圖像顯示的數(shù)據(jù)。在至少一個實施例中，在此公開的圖像/視頻處理系統(tǒng)獲取或讀取指示用于在網(wǎng)絡(luò)上傳輸?shù)膱D像數(shù)據(jù)的優(yōu)選尺寸的第一網(wǎng)絡(luò)參數(shù)數(shù)據(jù)。由于記錄裝置初始獲取的圖像的尺寸通常對于記錄裝置是可得的，因此可計算壓縮因子(即，獲取的圖像的尺寸除以優(yōu)選圖像尺寸)。附加地/可選地，可通過從網(wǎng)絡(luò)傳輸讀取(例如，從預(yù)定網(wǎng)絡(luò)站點傳輸)提供指示要執(zhí)行的數(shù)據(jù)壓縮類型的第二參數(shù)數(shù)據(jù)，或者，可選地，壓縮類型可由記錄裝置確定(例如，記錄裝置可確定提供期望壓縮因子并具有最低損失的可用壓縮類型)。給定這種壓縮因子及壓縮類型(例如，無損壓縮(LossLess)，或JPEG)，可訪問駐留在記錄裝置的表(或其他數(shù)據(jù)結(jié)構(gòu))來確定要執(zhí)行的相應(yīng)增強處理(及其參數(shù))，例如去噪及銳化處理。應(yīng)當注意，類似的確定可用于視頻數(shù)據(jù)。例如，如果網(wǎng)絡(luò)提供了優(yōu)選數(shù)據(jù)傳輸速率，假定記錄裝置有權(quán)訪問由該記錄裝置接收的視頻數(shù)據(jù)率(例如，Kbps)，則可確定用于網(wǎng)絡(luò)上的相應(yīng)傳輸?shù)囊曨l壓縮因子。此外，壓縮類型可從網(wǎng)絡(luò)(或網(wǎng)絡(luò)站點)傳輸讀取而確定，或可選地，壓縮類型可由記錄裝置確定，其中記錄裝置可確定提供期望壓縮因子并具有最低損失的可用壓縮類型。因此，假設(shè)(i)記錄裝置有權(quán)訪問提供獲取的圖像尺寸和/或視頻數(shù)據(jù)率的信息的一個或更多個表(或相應(yīng)的數(shù)據(jù)結(jié)構(gòu))，并假設(shè)(ii)所述記錄裝置還有權(quán)訪問期望的或優(yōu)選的圖像/視頻網(wǎng)絡(luò)傳輸屬性(例如，尺寸或數(shù)據(jù)率)，則所述記錄裝置可訪問這種表來至少確定將要應(yīng)用的降噪、銳化及壓縮處理的類型，以及用于操作地配置每個這些處理的參數(shù)。因此，盡管這里大部分的描述例示了依賴于可用網(wǎng)絡(luò)帶寬的這些處理，但是其他已知的或未知的限制/條件(例如，基本上與可用網(wǎng)絡(luò)帶寬無關(guān))也可用于確定期望的或優(yōu)選的圖像/視頻網(wǎng)絡(luò)傳輸屬性。一個實施例中，這里公開的圖像/視頻處理系統(tǒng)執(zhí)行下列步驟：(a)通過一個或多個網(wǎng)絡(luò)傳輸，在網(wǎng)絡(luò)站點接收處理過的數(shù)據(jù)以及為獲取所述處理過的數(shù)據(jù)而執(zhí)行的處理的相應(yīng)歷史信息，其中，所述執(zhí)行的處理依賴于與網(wǎng)絡(luò)的傳輸特征相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，獲取所述網(wǎng)絡(luò)數(shù)據(jù)用于確定所述處理；(b)訪問所述歷史信息，用于確定：與所述處理過的數(shù)據(jù)相關(guān)的解壓縮信息、以及與增強所述處理過的數(shù)據(jù)的視覺呈現(xiàn)相關(guān)的增強信息本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種處理數(shù)據(jù)的方法，包括由計算設(shè)備執(zhí)行下列步驟：通過一個或多個網(wǎng)絡(luò)傳輸，在網(wǎng)絡(luò)站點接收處理過的數(shù)據(jù)以及為獲取所述處理過的數(shù)據(jù)而執(zhí)行的處理的相應(yīng)歷史信息，其中，所述執(zhí)行的處理依賴于與網(wǎng)絡(luò)的傳輸特征相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，獲取所述網(wǎng)絡(luò)數(shù)據(jù)用于確定所述處理；訪問所述歷史信息，用于確定：與所述處理過的數(shù)據(jù)相關(guān)的解壓縮信息、以及與增強所述處理過的數(shù)據(jù)的視覺呈現(xiàn)相關(guān)的增強信息；解壓縮所述處理過的數(shù)據(jù)，由此獲取解壓縮的數(shù)據(jù)，其中，所述解壓縮信息指示要對所述處理過的數(shù)據(jù)執(zhí)行的解壓縮；以及根據(jù)所述增強信息，增強所述處理過的數(shù)據(jù)或所述解壓縮的數(shù)據(jù)之一；其中，所述增強步驟包括激活下面一個或多個的步驟用于獲取增強的視覺呈現(xiàn)：降噪處理、銳化處理、自動曝光處理、自動白平衡處理、以及自動對焦處理。

【技術(shù)特征摘要】
2011.12.15 US 13/327,6841.一種用于處理圖像或視頻數(shù)據(jù)的方法，包括由計算設(shè)備執(zhí)行下列步驟：通過一個或多個網(wǎng)絡(luò)傳輸，在網(wǎng)絡(luò)站點接收處理過的數(shù)據(jù)以及為獲取所述處理過的數(shù)據(jù)而執(zhí)行的處理的相應(yīng)歷史信息，其中，所述執(zhí)行的處理依賴于與網(wǎng)絡(luò)的傳輸特征相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，獲取所述網(wǎng)絡(luò)數(shù)據(jù)用于確定所述處理；訪問所述歷史信息，用于確定：與所述處理過的數(shù)據(jù)相關(guān)的解壓縮信息、以及與增強所述處理過的數(shù)據(jù)的視覺呈現(xiàn)相關(guān)的增強信息；解壓縮所述處理過的數(shù)據(jù)，由此獲取解壓縮的數(shù)據(jù)，其中，所述解壓縮信息指示要對所述處理過的數(shù)據(jù)執(zhí)行的解壓縮；以及根據(jù)所述增強信息，增強所述處理過的數(shù)據(jù)或所述解壓縮的數(shù)據(jù)之一；其中，所述增強步驟包括激活下面一個或多個的步驟用于獲取增強的視覺呈現(xiàn)：降噪處理、銳化處理、自動曝光處理、自動白平衡處理、以及自動對焦處理。2.根據(jù)權(quán)利要求1的方法，其中所述增強步驟包括對所述處理過的數(shù)據(jù)或所述解壓縮的數(shù)據(jù)之一的降噪，其中，所述降噪降低椒鹽噪聲或高斯噪聲。3.根據(jù)權(quán)利要求1的方法，其中，用于產(chǎn)生所述處理過的數(shù)據(jù)的裝置是手持移動通信裝置。4.根據(jù)權(quán)利要求3的方法，其中，對于所述裝置的多個不同實例中的每個，所述網(wǎng)絡(luò)站點可操作用于執(zhí)行權(quán)利要求1的步驟；其中對于所述實例中的每個，針對由從所述實例發(fā)送的處理過的數(shù)據(jù)及歷史信息導出的視覺呈現(xiàn)，獲取結(jié)果數(shù)據(jù)，其中，所述結(jié)果數(shù)據(jù)與用于確定對所述結(jié)果數(shù)據(jù)的訪問的相應(yīng)授權(quán)數(shù)據(jù)相關(guān)聯(lián)。5.根據(jù)權(quán)利要求1的方法，其中，所述處理過的數(shù)據(jù)包括下列之一：從在設(shè)備處獲取的第一圖像或視頻數(shù)據(jù)中獲取的用于傳輸?shù)剿鼍W(wǎng)絡(luò)站點的圖像或視頻數(shù)據(jù)；其中，為獲取所述處理過的數(shù)據(jù)，所述第一圖像或視頻數(shù)據(jù)由第一和第二數(shù)據(jù)壓縮處理之一壓縮；其中，對于指示與所述傳輸特征相關(guān)的第一值的網(wǎng)絡(luò)數(shù)據(jù)，執(zhí)行第一數(shù)據(jù)壓縮，并且，對于指示與所述傳輸特征相關(guān)的更受限的第二值的網(wǎng)絡(luò)數(shù)據(jù)，執(zhí)行第二數(shù)據(jù)壓縮；其中，所述第一數(shù)據(jù)壓縮對數(shù)據(jù)的壓縮小于所述第二數(shù)據(jù)壓縮。6.根據(jù)權(quán)利要求5的方法，其中，從對所述第一圖像或視頻數(shù)據(jù)、或其導出的數(shù)據(jù)的增強獲取增強數(shù)據(jù)；其中，當為了獲取所述處理過的數(shù)據(jù)而對所述增強數(shù)據(jù)執(zhí)行第一數(shù)據(jù)壓縮時，所述增強數(shù)據(jù)包括從第一降噪處理獲得的具有噪音內(nèi)容的第一降低的數(shù)據(jù)；以及其中，當為了獲取所述處理過的數(shù)據(jù)而對所述增強數(shù)據(jù)執(zhí)行第二數(shù)據(jù)壓縮時，所述增強數(shù)據(jù)包括從第二降噪處理獲得的具有噪音內(nèi)容的第二降低的數(shù)據(jù)。7.根據(jù)權(quán)利要求6的方法，其中，對于包括視頻數(shù)據(jù)的第一圖像或視頻數(shù)據(jù)，所述第一降噪處理被標識為比所述第二降噪處理降低所述增強數(shù)據(jù)中更多的噪聲。8.根據(jù)權(quán)利要求5的方法，其中，所述歷史信息包括所述增強信息，并且所述增強信息包括指示對所述第一圖像或視頻數(shù)據(jù)或其導出的數(shù)據(jù)應(yīng)用下列處理中的一個或多個以獲取所述處理過的數(shù)據(jù)的數(shù)據(jù)：降噪處理、及銳化處理。9.根據(jù)權(quán)利要求5的方法，其中，所述歷史信息包括指示是否對所述第一圖像或視頻數(shù)據(jù)或其導出的數(shù)據(jù)應(yīng)用了下列處理中的一個或多個以獲取所述處理過的數(shù)據(jù)的數(shù)據(jù)：自動曝光處理、自動白平衡處理、以及自動對焦處理。10.根據(jù)權(quán)利要求1的方法，其中所述激活步驟至少包括所述降噪及銳化處理。11.一種非暫態(tài)計算機可讀介質(zhì)，其上存儲有機器指令，所述指令包括：通過一個或多個網(wǎng)絡(luò)傳輸，在網(wǎng)絡(luò)站點接收處理過的數(shù)據(jù)以及為獲取所述處理過的數(shù)據(jù)而執(zhí)行的處理的相應(yīng)歷史信息，其中，所述執(zhí)行的處理依賴于與網(wǎng)絡(luò)的傳輸特征相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，獲取所述網(wǎng)絡(luò)數(shù)據(jù)用于確定所述處理；訪問所述歷史信息，用于確定：與所述處理過的數(shù)據(jù)相關(guān)的解壓縮信息、以及與增強所述處理過的數(shù)據(jù)的視覺呈現(xiàn)相關(guān)的增強信息；解壓縮所述處理過的數(shù)據(jù)，由此獲取解壓縮的數(shù)據(jù)，其中，所述解壓縮信息指示要對所述...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：W·李，B·雷克沃德，
申請(專利權(quán))人：弗萊克斯電子有限責任公司，
類型：發(fā)明
國別省市：