【技術實現步驟摘要】
【國外來華專利技術】
本專利技術總體上涉及處理多個數據（諸如由多個相機獲取的場景的多視圖3d圖像或從多個傳感器獲得的患者的生理數據）的領域。本專利技術尤其涉及在對這多個數據進行編碼然后經由通信網絡將其發送到處理設備之前對其進行分段。
技術介紹
1、在虛擬現實和沉浸式視頻的領域中，自由導航允許觀看者使用諸如虛擬現實頭戴式設備的設備從任何視點觀看場景，無論該視點對應于由相機捕獲的視點還是尚未由相機捕獲的視點。這種尚未被相機捕獲的視圖被稱為虛擬視圖或中間視圖，因為它位于由相機捕獲的視圖之間，并且必須被合成以用于從捕獲的視圖向觀看者渲染場景。
2、在沉浸式視頻上下文中，即，在觀看者具有沉浸在場景中的感覺的情況下，場景sc通常由一組相機捕獲，如圖1所示。這些相機可以是2d類型（相機c1、c2、…、cn，其中n在圖1中為非零整數），即，它們中的每一個從一個視點捕獲視圖，或者是360類型，即，它們捕獲圍繞相機360度的整個場景（圖1的相機c360），因此從幾個不同的視點進行捕獲。相機可以被布置成弧形、矩形或提供場景的良好覆蓋的任何其他配置。
3、關于圖2，在給定時間，獲得表示來自不同視圖的場景的一組圖像。由于這涉及視頻，因此對捕獲的圖像進行時間采樣（例如，每秒30個圖像）以產生原始多視圖視頻vmv，如圖3所示。
4、miv（mpeg沉浸式視頻）標準使得能夠傳輸適合于沉浸式導航的視頻。編碼器選擇其想要傳輸的每個視圖的部分（圖像塊（patch）），以便從這些圖像塊最大化視圖合成質量，同時減少要傳輸的數據量。從視圖中提取圖像塊并將其收
5、從發送的數據中，miv解碼器可以找到圖像塊并將它們排列在它們所屬的視圖中。然后，該視圖被稱為“部分”，因為它不包含由相機之一獲取的原始視圖的所有像素值。然而，如果編碼器已經有效地選擇了要發送的視圖的部分，則它們足以生成或合成場景的任何視點。在這方面，來自經解碼的視圖的視圖合成不由miv標準指定。它依賴于占用圖來確定給定視圖的像素是否包含相關信息項。
6、從wang等人在2021年4月由arxiv：2102.13090?v2出版的題為“ibrnet：learningmulti-view?image-based?rendering”的論文中也已知一種用于使用神經網絡進行基于紋理的視圖合成的方法。特別地，該論文描述了被稱為ibrn的神經網絡，其將相機的參數、從各種視點捕獲的紋理圖像以及要合成的場景的視點的坐標作為輸入，并且產生合成視圖作為輸出，該合成視圖對應于相機從與所提供的坐標相對應的視點捕獲的視圖。該方法的一個優點是提供了非常好的定性結果。
7、該方法的一個缺點，并且更一般地，當前視圖合成方法的一個缺點是它們需要由相機獲取的所有視圖。這表示要傳輸然后解碼大量數據，這在解碼器處造成復雜性問題，特別是當它嵌入在諸如智能電話或增強現實耳機的移動終端中時。
8、因此，需要一種解決方案來減少數據量，特別是減少要傳輸的像素的數量，同時盡可能多地保持視圖合成的質量。
9、本專利技術改善了這種情況。
技術實現思路
1、本專利技術通過提出一種用于分段由傳感器獲取的被稱為輸入數據的多個數據的方法來響應于這種需要，所述方法包括：
2、-?在所述多個輸入數據被至少一個處理設備處理之前，確定要應用于所述多個輸入數據的權重值，所述至少一個處理設備被配置為根據用于優化所述輸入數據處理結果的質量的標準產生處理結果，所述權重值根據所述標準和用于優化待處理的輸入數據量的標準來確定，
3、-?確定所述多個輸入數據的分段信息，根據所述權重，一個所述數據項的一個所述分段信息項被分配第一值或與所述第一值不同的第二值，以及
4、-?通過將所確定的分段信息應用于所述多個輸入數據來獲得待處理的數據子集，所述待處理的數據子集包括所述多個輸入數據中與等于所述第一值的分段信息項相關聯的數據。
5、本專利技術提出了一種全新的和創造性的方法，用于在多個輸入數據被給定的處理設備處理之前分段多個輸入數據，該方法包括配置要應用于輸入數據的權重值，使得由分段產生并在處理設備的輸入處呈現的數據量以及處理質量都被優化。權重的值是根據多個輸入數據本身來確定的，并且因此針對其被特別地選擇。
6、例如，用于優化待處理的輸入數據量的標準包括權重值的累積值或低于給定閾值的多個權重值的最小化。根據變型，它包括保持在待處理的數據子集中的輸入數據的累積值或輸入數據的這些項的數量的最小化。例如，用于優化處理質量的標準包括從多個輸入數據獲得的結果與從待處理的數據子集獲得的結果之間的平方誤差的最小化，或者峰值信噪比或psnr的最大化。
7、然后使用所獲得的配置的權重的值來確定多個輸入數據的分段信息的一個或多個項。該分段信息指示：
8、-?哪些輸入數據應該在處理設備的輸入處提供，因為它們對于處理設備產生符合用于優化輸入數據處理結果的質量的標準的處理結果是有用的，以及
9、-?哪些輸入數據不應被呈現給處理設備，因為它們是無用的，因為它無助于提高所獲得的處理結果的質量。
10、使用如此確定的分段信息來獲得待處理的數據子集。以這種方式，只有該待處理的數據子集可以被編碼并傳輸到在結構和配置方面并入了類似處理設備的接收器。
11、因此，本專利技術不僅提出執行多個輸入數據的有效分段，而且在確定執行分段的權重的值時還考慮執行分段的分段模塊的權重的值對處理設備的輸出的影響。因此，它不考慮獨立于處理設備的簡單分段模塊，而是考慮兩者的組合，并且更確切地說，考慮它們對輸入數據的連續動作。
12、本專利技術適用于由任何類型的傳感器獲取的任何類型的數據。例如，多個傳感器被布置在場景、物體或對象…周圍。它涉及例如多個相機，每個相機具有場景的不同視點并且被配置為獲取該場景的圖像或視圖的序列。在這種情況下，處理設備可以是用于合成來自由多個相機獲取的原始視圖的附加視圖的設備，并且根據本專利技術的原始視圖的分段意味著僅保留對合成附加視圖有用的數據并且消除冗余數據。
13、根據另一范例，多個數據包括由各種類型的多個傳感器捕獲的患者的生理測量結果的時間序列（心電圖（ecg）、腦電圖（eeg）、掃描儀、磁共振成像（mri）、x射線圖像、血液成分指示器等）。在該另一示例中，處理設備可以是診斷輔助設備。
14、根據本專利技術的另一方面，該確定包括從所述多個輸入數據學習所述權重值，所述學習通過組合兩個標準的損失函數的梯度的反向傳播來執行。
本文檔來自技高網...【技術保護點】
1.一種用于分段由傳感器獲取的被稱為輸入數據的多個數據的方法，所述方法包括：
2.根據前一權利要求所述的分段方法，其特征在于，所述確定（61）包括從所述多個輸入數據學習所述權重值，所述學習通過組合兩個標準的損失函數的梯度的反向傳播來執行。
3.根據權利要求1和2中任一項所述的分段方法，其特征在于，所述處理設備（PROC1、SYNT1、DIAG1）包括被稱為處理權重的權重，所述處理權重的值已經根據用于優化所述輸入數據處理結果的質量的標準預先確定，并且所述方法還包括確定（64）所述處理權重的經修改的值。
4.根據權利要求2和3中任一項所述的用于分段多個數據的方法，其特征在于，所述多個輸入數據包括由多個相機獲取的多個視圖，一個所述視圖包括像素，所述權重被包括在多個層中，一個所述層與一個所述視圖相關聯并且包括每個像素的一個所述權重，并且所述分段信息包括多個分段圖，一個所述圖與一個所述視圖相關聯。
5.根據權利要求2和3中任一項所述的用于分段多個數據的方法，其特征在于，所述多個輸入數據包括由多個傳感器獲取的多個測量數據序列，所述權重被包括在多
6.一種用于對由傳感器獲取的被稱為輸入數據的多個數據進行編碼的方法，其特征在于，所述方法包括：
7.根據前一權利要求所述的編碼方法，其特征在于，所述獲得還包括：
8.一種用于解碼經編碼的數據的方法，其特征在于，所述方法包括：
9.一種攜帶經編碼的數據的信號，所述經編碼的數據包括由傳感器獲取的被稱為輸入數據的多個數據的分段信息、通過將所述分段信息應用于所述多個輸入數據而獲得的待處理的數據子集，一個所述輸入數據項的一個所述分段信息項被分配第一值或與所述第一值不同的第二值，待處理的數據子集包括多個輸入數據中與等于所述第一值的分段信息項相關聯的數據，所述待處理的數據子集旨在被解碼，并且然后用于根據經解碼的分段信息重構多個經解碼的分段輸入數據，以由處理設備處理所述多個分段輸入數據，所述處理設備被配置為通過對所述多個輸入數據應用權重，根據用于優化處理質量的標準來產生處理結果，
10.一種用于分段由傳感器獲取的被稱為輸入數據的多個數據的設備（100），所述設備被配置為實現：
11.一種用于對由傳感器獲取的被稱為輸入數據的多個數據進行編碼的設備（200），其特征在于，所述設備（200）被配置為實現：
12.一種用于解碼經編碼的數據的設備（300），其特征在于，所述設備（300）被配置為實現：
13.一種系統（S），其特征在于，所述系統包括：
14.一種計算機程序產品，包括程序代碼指令，所述程序代碼指令用于在由處理器執行時實現根據權利要求1至8中任一項所述的方法。
...【技術特征摘要】
【國外來華專利技術】
1.一種用于分段由傳感器獲取的被稱為輸入數據的多個數據的方法，所述方法包括：
2.根據前一權利要求所述的分段方法，其特征在于，所述確定（61）包括從所述多個輸入數據學習所述權重值，所述學習通過組合兩個標準的損失函數的梯度的反向傳播來執行。
3.根據權利要求1和2中任一項所述的分段方法，其特征在于，所述處理設備（proc1、synt1、diag1）包括被稱為處理權重的權重，所述處理權重的值已經根據用于優化所述輸入數據處理結果的質量的標準預先確定，并且所述方法還包括確定（64）所述處理權重的經修改的值。
4.根據權利要求2和3中任一項所述的用于分段多個數據的方法，其特征在于，所述多個輸入數據包括由多個相機獲取的多個視圖，一個所述視圖包括像素，所述權重被包括在多個層中，一個所述層與一個所述視圖相關聯并且包括每個像素的一個所述權重，并且所述分段信息包括多個分段圖，一個所述圖與一個所述視圖相關聯。
5.根據權利要求2和3中任一項所述的用于分段多個數據的方法，其特征在于，所述多個輸入數據包括由多個傳感器獲取的多個測量數據序列，所述權重被包括在多個層中，一個所述層與一個所述測量數據序列相關聯并且包括每個測量數據項的一個所述權重，并且所述分段信息包括多個分段序列，一個所述分段序列與一個所述測量數據序列相關聯。
6.一種用于對由傳感器獲取的被稱為輸入數據的多個數據進行編碼的方法，其特征在于，所述方法包括：<...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。