一種全景視頻的存儲優化方法、系統、終端及存儲介質技術方案

本發明專利技術公開了一種全景視頻的存儲優化方法、系統、終端及存儲介質，所述方法包括：獲取全景視頻中第一全景圖像，識別所述第一全景圖像中的對象，計算所述對象的運動范圍，并將所述全景視頻分割成全景視頻塊；基于所述全景視頻塊獲取第二全景圖像，對所述第二全景圖像進行分割得到語義分割結果，并對所述語義分割結果進行投影得到投影平面；對所述投影平面進行強化學習處理，并將所述全景視頻塊投影成平面格式后進行壓縮儲存。本發明專利技術通過將全景視頻在時間軸上分割為多段全景視頻塊，依據每段全景視頻塊的內容，對投影坐標系進行多自由度空間旋轉后，對全景視頻進行投影為平面格式并壓縮視頻，使得壓縮后的全景視頻所需的存儲空間減少。少。少。

【技術實現步驟摘要】
一種全景視頻的存儲優化方法、系統、終端及存儲介質


[0001]本專利技術涉及全景視頻點播或直播領域，尤其涉及一種全景視頻的存儲優化方法、系統、終端及存儲介質。

技術介紹

[0002]全景視頻是一種用3D攝像機進行全方位360度進行拍攝的視頻，用戶在觀看視頻的時候，可以隨意調節視頻上下左右進行觀看。全景視頻可提供全方位視野，允許用戶自由選擇任意方向進行觀看，提供了身臨其境的觀影感受。
[0003]現有技術中，在存儲全景視頻時，由于高質量的全景視頻碼率很大，當前帶寬不足以支持高質量全景視頻實時傳輸，通常將全景視頻在時間軸上分割為多段相同時間長度的全景視頻塊，然后使用多種投影坐標系，將全景視頻塊內每幀全景圖像投影為多面體格式，然后將多面體的各個投影面拼接為單張平面格式的圖像，再使用傳統的平面視頻壓縮技術對連續幀進行壓縮，例如H256視頻編碼標準；但是實際投影過程中，單幀全景圖像內的車等前景對象會坐落在不同的投影面中，第二行中間兩個投影面將汽車割裂；前景對象的空間不連續性不利于平面視頻壓縮技術的壓縮過程，導致其壓縮率降低，占用更多的存儲空間。
[0004]此外，每段全景視頻塊內可能存在多個前景對象同時運動，全景視頻塊時間長度越長，前景對象的運動范圍越大，更可能讓大量前景對象跨越更多投影面，相反，如果時間長度越短，時間連續性也會受到干擾，在這些情況下同樣不利于平面視頻壓縮技術的壓縮過程。
[0005]因此，現有技術還有待于改進和發展。

技術實現思路

[0006]本專利技術的主要目的在于提供一種全景視頻的存儲優化方法、系統、終端及存儲介質，旨在解決現有技術中前景對象的空間不連續性與全景視頻塊時間長度過短時均不利于平面視頻壓縮技術的壓縮過程，導致壓縮率降低，占用更多存儲空間的問題。
[0007]為實現上述目的，本專利技術提供一種全景視頻的存儲優化方法，所述全景視頻的存儲優化方法包括如下步驟：
[0008]獲取全景視頻中第一全景圖像，識別所述第一全景圖像中的對象，計算所述對象的運動范圍，并將所述全景視頻分割成全景視頻塊；
[0009]基于所述全景視頻塊獲取第二全景圖像，對所述第二全景圖像進行分割得到語義分割結果，并對所述語義分割結果進行投影得到投影平面；
[0010]對所述投影平面進行強化學習處理，并將所述全景視頻塊投影成平面格式后進行壓縮儲存。
[0011]可選地，所述的全景視頻的存儲優化方法，其中，所述獲取全景視頻中第一全景圖像，識別所述第一全景圖像中的對象，計算所述對象的運動范圍，并將所述全景視頻分割成全景視頻塊，具體包括：
[0012]對全景視頻進行均勻采樣以獲取數幀的全景圖像，對所述全景圖像采用對象識別算法識別出每幀全景圖像中的對象，并標記連續幀內的相同對象；
[0013]當對象的中心點作為所述對象的重心時，設定一個時間長度，計算得出每個對象的第一幀到所述時間長度后的一幀之間的重心移動距離；
[0014]計算出所述重心移動距離的平均值，將所述平均值作為所述時間長度內所有對象的平均運動范圍，并設定所述平均范圍的閾值；
[0015]判斷所述平均運動范圍與所述閾值的大小，若所述平均運動范圍等于所述閾值時，則使用所述時間長度在時間軸上分割全景視頻為多段全景視頻塊。
[0016]可選地，所述的全景視頻的存儲優化方法，其中，所述閾值的大小根據投影格式進行設定。
[0017]可選地，所述的全景視頻的存儲優化方法，其中，所述判斷所述平均運動范圍與所述閾值的大小，還包括：
[0018]若所述平均運動范圍大于所述閾值時，則縮短所述時間長度，并重新計算縮短后的時間長度內所有對象的平均運動范圍；
[0019]若所述平均運動范圍小于所述閾值時，則增加所述時間長度，并重新計算增加后的時間長度內所有對象的平均運動范圍。
[0020]可選地，所述的全景視頻的存儲優化方法，其中，所述基于所述全景視頻塊獲取第二全景圖像，對所述第二全景圖像進行分割得到語義分割結果，并對所述語義分割結果進行投影得到投影平面，具體包括：
[0021]從所述全景視頻塊中提取出數幀的第二全景圖像，將所述第二全景圖像輸入到語義分割算法中進行分割得到語義分割結果；
[0022]基于所述語義分割結果的投影格式，選擇所述投影格式對應的投影坐標系，使用所述投影坐標系對所述語義分割結果進行投影并得到多個投影平面。
[0023]可選地，所述的全景視頻的存儲優化方法，其中，所述投影格式包括等距形投影格式和立方體投影格式。
[0024]可選地，所述的全景視頻的存儲優化方法，其中，所述對所述投影平面進行強化學習處理，并將所述全景視頻塊投影成平面格式后進行壓縮儲存，具體包括：
[0025]將所述投影平面按照時間軸順序輸入至強化學習方法中處理，處理完成后輸出多自由度旋轉角度；
[0026]基于所述多自由度旋轉角度完成對所述投影坐標系的旋轉，并使用旋轉后的投影坐標系對所述全景視頻塊進行投影，得到平面格式的第一全景視頻塊；
[0027]對所述第一全景視頻塊進行壓縮儲存，并將所述第一全景視頻塊的多自由旋轉角度存儲在記錄文件中。
[0028]可選地，所述的全景視頻的存儲優化方法，其中，所述基于所述多自由度旋轉角度完成對所述投影坐標系的旋轉，還包括：
[0029]若存在多個合適的多自由旋轉角度，則對所述投影坐標系進行多次迭代旋轉，并將每次旋轉后的投影坐標系對所述全景視頻塊進行投影，得到多個平面格式的第二全景視頻塊；
[0030]將所有第二全景視頻塊均進行壓縮，并記錄每個第二全景視頻塊的壓縮率；
[0031]選取壓縮率最高的第二全景視頻塊進行存儲，并將所述第二全景視頻塊的多自由度旋轉角度記錄在文件中。
[0032]可選地，所述的全景視頻的存儲優化方法，其中，所述基于所述多自由度旋轉角度完成對所述投影坐標系的旋轉，之后還包括：
[0033]根據旋轉角度的周期性變化，得到一個周期內旋轉角度的變化范圍；
[0034]基于所述變化范圍，將強化學習方法輸出的旋轉角度限制在所述周期的變化范圍中；
[0035]若限制后的旋轉角度為0，則結束當前全景視頻塊的處理。
[0036]可選地，所述的全景視頻的存儲優化方法，其中，所述對所述第一全景視頻塊進行壓縮儲存，并將所述第一全景視頻塊的多自由旋轉角度存儲在記錄文件中，之后還包括：
[0037]接收用戶的訪問請求，基于所述訪問請求向用戶客戶端傳輸全景視頻塊；
[0038]在傳輸所述全景視頻塊時，從所述記錄文件中提取所述全景視頻塊對應的多自由旋轉角度，并將所述多自由旋轉角度傳輸至所述用戶客戶端；
[0039]當所述用戶客戶端完成接收后，基于所述多自由旋轉角度對投影坐標系進行旋轉，并將旋轉后的投影坐標系對所述全景視頻塊進行投影以完成渲染過程。
[0040]此外，為實現上述目的，本專利技術還提供一種全景視頻的存儲優化系統，其中，所述全景視本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種全景視頻的存儲優化方法，其特征在于，所述全景視頻的存儲優化方法包括：獲取全景視頻中第一全景圖像，識別所述第一全景圖像中的對象，計算所述對象的運動范圍，并將所述全景視頻分割成全景視頻塊；基于所述全景視頻塊獲取第二全景圖像，對所述第二全景圖像進行分割得到語義分割結果，并對所述語義分割結果進行投影得到投影平面；對所述投影平面進行強化學習處理，并將所述全景視頻塊投影成平面格式后進行壓縮儲存。2.根據權利要求1所述的全景視頻的存儲優化方法，其特征在于，所述獲取全景視頻中第一全景圖像，識別所述第一全景圖像中的對象，計算所述對象的運動范圍，并將所述全景視頻分割成全景視頻塊，具體包括：對全景視頻進行均勻采樣以獲取數幀的全景圖像，對所述全景圖像采用對象識別算法識別出每幀全景圖像中的對象，并標記連續幀內的相同對象；當對象的中心點作為所述對象的重心時，設定一個時間長度，計算得出每個對象的第一幀到所述時間長度后的一幀之間的重心移動距離；計算出所述重心移動距離的平均值，將所述平均值作為所述時間長度內所有對象的平均運動范圍，并設定所述平均范圍的閾值；判斷所述平均運動范圍與所述閾值的大小，若所述平均運動范圍等于所述閾值時，則使用所述時間長度在時間軸上分割全景視頻為多段全景視頻塊。3.根據權利要求2所述的全景視頻的存儲優化方法，其特征在于，所述閾值的大小根據投影格式進行設定。4.根據權利要求2所述的全景視頻的存儲優化方法，其特征在于，所述判斷所述平均運動范圍與所述閾值的大小，還包括：若所述平均運動范圍大于所述閾值時，則縮短所述時間長度，并重新計算縮短后的時間長度內所有對象的平均運動范圍；若所述平均運動范圍小于所述閾值時，則增加所述時間長度，并重新計算增加后的時間長度內所有對象的平均運動范圍。5.根據權利要求1所述的全景視頻的存儲優化方法，其特征在于，所述基于所述全景視頻塊獲取第二全景圖像，對所述第二全景圖像進行分割得到語義分割結果，并對所述語義分割結果進行投影得到投影平面，具體包括：從所述全景視頻塊中提取出數幀的第二全景圖像，將所述第二全景圖像輸入到語義分割算法中進行分割得到語義分割結果；基于所述語義分割結果的投影格式，選擇所述投影格式對應的投影坐標系，使用所述投影坐標系對所述語義分割結果進行投影并得到多個投影平面。6.根據權利要求5所述的全景視頻的存儲優化方法，其特征在于，所述投影格式包括等距形投影格式和立方體投影格式。7.根據權利要求5所述的全景視頻的存儲優化方法，其特征在于，所述對所述投影平面進行強化學習處理，并將所述全景視頻塊投影成平面格式后進行壓縮儲存，具體包括：將所述投影平面按照時間軸順序輸入至強化學習方法中處理，處理完成后輸出多自由度旋轉角度；
基于所述多自由度旋轉角度完成對所述...

【專利技術屬性】
技術研發人員：陳梓豪，鄒龍昊，陳作舟，薛雅利，陳昊，王彬彬，陶小峰，
申請(專利權)人：鵬城實驗室，
類型：發明
國別省市：