基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法、設(shè)備及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開(kāi)了一種基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法、設(shè)備及系統(tǒng)，屬于視頻分析領(lǐng)域，包括：將當(dāng)前配置分析窗口尾部長(zhǎng)度為λ

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法、設(shè)備及系統(tǒng)


[0001]本專利技術(shù)屬于視頻分析領(lǐng)域，更具體地，涉及一種基于視頻內(nèi)容變化檢測(cè)的配置更新方法、設(shè)備及系統(tǒng)。

技術(shù)介紹

[0002]智能攝像頭作為智能硬件的代表，已廣泛用于安防、智能家居、智能護(hù)理等各種場(chǎng)景，現(xiàn)有的智能攝像頭及邊緣節(jié)點(diǎn)的算力資源是非有限，通常而言，一個(gè)邊緣節(jié)點(diǎn)需要覆蓋十幾個(gè)攝像頭，而一些視頻分析任務(wù)對(duì)于準(zhǔn)確度和延時(shí)的要求比較高。隨著人工智能、深度學(xué)習(xí)等技術(shù)的快速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，DNN)模型被廣泛應(yīng)用于視頻分析任務(wù)是，但是現(xiàn)有的DNN模型很難在資源受限的邊緣節(jié)點(diǎn)同時(shí)實(shí)現(xiàn)高準(zhǔn)確度、低時(shí)延。
[0003]影響DNN模型推理準(zhǔn)確度和資源開(kāi)銷的因素有很多，比如視頻分辨率、幀率、不同的DNN模型等。這些影響因素的特定組合稱為視頻分析系統(tǒng)的配置，不同的配置會(huì)帶來(lái)不同的推理準(zhǔn)確度以及開(kāi)銷，通過(guò)調(diào)節(jié)配置可以實(shí)現(xiàn)資源與準(zhǔn)確度之間的平衡。現(xiàn)有的方法通常采用兩種方式完成視頻配置：其一，僅在視頻最開(kāi)始進(jìn)行一次配置；其二，周期性地更新配置。但是，配置文件隨著視頻內(nèi)容不斷變化，所以僅在視頻最開(kāi)始進(jìn)行一次配置分析得到的最佳配置并不能保證長(zhǎng)期準(zhǔn)確度，周期性地更新配置也不能捕捉視頻內(nèi)容的變化，導(dǎo)致長(zhǎng)期準(zhǔn)確度的降低，同時(shí)也會(huì)由于頻繁地更新配置帶來(lái)額外的計(jì)算資源開(kāi)銷。

技術(shù)實(shí)現(xiàn)思路

[0004]針對(duì)現(xiàn)有技術(shù)的缺陷和改進(jìn)需求，本專利技術(shù)提供了一種基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法、設(shè)備及系統(tǒng)，其目的在于，在保證視頻分析任務(wù)準(zhǔn)確度的情況下減少計(jì)算資源開(kāi)銷。
[0005]為實(shí)現(xiàn)上述目的，按照本專利技術(shù)的一個(gè)方面，提供了一種基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法，包括：
[0006](S1)將當(dāng)前配置分析窗口尾部長(zhǎng)度為λ
*
的視頻流輸入至深度神經(jīng)網(wǎng)絡(luò)模型，以提取該視頻流中每一幀的語(yǔ)義特征；
[0007](S2)根據(jù)所提取的每一幀的語(yǔ)義特征計(jì)算視頻流的特征分布，得到當(dāng)前配置分析窗口的經(jīng)驗(yàn)特征分布
[0008](S3)將經(jīng)驗(yàn)特征分布輸入至?xí)r間序列預(yù)測(cè)模型，以預(yù)測(cè)下一配置分析窗口頭部長(zhǎng)度為λ
*
的視頻流的特征分布，得到下一配置分析窗口的預(yù)測(cè)特征分布
[0009](S4)計(jì)算經(jīng)驗(yàn)特征分布與預(yù)測(cè)特征分布的分布距離D，若D≤ε
d*
，則維持?jǐn)z像頭的配置不變；若D＞ε
d*
，則從預(yù)設(shè)的配置空間中選取能夠平衡資源開(kāi)銷與深度神經(jīng)網(wǎng)絡(luò)模型推理準(zhǔn)確度的最佳配置，并發(fā)送至攝像頭，使攝像頭進(jìn)行配置更新；
[0010]其中，λ
*
為預(yù)設(shè)的預(yù)測(cè)窗口長(zhǎng)度。
[0011]進(jìn)一步地，預(yù)測(cè)窗口長(zhǎng)度λ
*
的確定方式包括：利用歷史數(shù)據(jù)獲取時(shí)間序列預(yù)測(cè)模
型的預(yù)測(cè)準(zhǔn)確度與預(yù)測(cè)窗口長(zhǎng)度的對(duì)應(yīng)關(guān)系，將其中最高準(zhǔn)確度所對(duì)應(yīng)的預(yù)測(cè)窗口長(zhǎng)度作為預(yù)測(cè)窗口長(zhǎng)度λ
*
。
[0012]進(jìn)一步地，本專利技術(shù)提供的基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法，還包括：在初始時(shí)刻，設(shè)置配置分析窗口長(zhǎng)度為λ
*
；
[0013]并且，步驟(S4)還包括：若D＞ε
d*
，則將下一配置分析窗口的長(zhǎng)度設(shè)置為λ
*
；若D≤ε
d*
，則設(shè)置下一配置分析窗口的長(zhǎng)度大于當(dāng)前配置分析窗口的長(zhǎng)度。
[0014]進(jìn)一步地，檢測(cè)閾值ε
d*
的確定方式包括：
[0015]根據(jù)求解檢測(cè)閾值ε
d
與預(yù)測(cè)窗口長(zhǎng)度λ的第一關(guān)系式；
[0016]根據(jù)求解檢測(cè)閾值ε
d
與預(yù)測(cè)窗口長(zhǎng)度λ的第一關(guān)系式；
[0017]在時(shí)隙長(zhǎng)度為λ
*
的條件下，計(jì)算同時(shí)滿足第一關(guān)系式和第二關(guān)系式的檢測(cè)閾值ε
d
的最大值，作為檢測(cè)閾值ε
d*
；
[0018]其中，表示第m個(gè)配置分析窗口的經(jīng)驗(yàn)特征分布，表示第m+1個(gè)配置分析窗口的預(yù)測(cè)特征分布，p
m+1
(t)表示第m+1個(gè)配置分析窗口的真實(shí)特征分布，D()表示兩個(gè)特征分布的分布距離；表示概率；ε
o
表示時(shí)間序列預(yù)測(cè)模型可接受的誤差上界；σ
o
表示時(shí)間序列預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度，σ表示在視頻內(nèi)容發(fā)生明顯變化而該變化未被檢測(cè)到的最大檢測(cè)誤差，σ2表示視頻內(nèi)容未發(fā)生明顯變化而被誤檢測(cè)為發(fā)生明顯概率的最大檢測(cè)誤差。
[0019]進(jìn)一步地，特征分布之間的分布距離通過(guò)全變差表征。
[0020]進(jìn)一步地，第一關(guān)系式為：第二關(guān)系式為：第二關(guān)系式為：
[0021]進(jìn)一步地，步驟(S4)中，從預(yù)設(shè)的配置空間中選取能夠平衡資源開(kāi)銷與深度神經(jīng)網(wǎng)絡(luò)模型推理準(zhǔn)確度的最佳配置，包括：
[0022]對(duì)于配置空間中的每一個(gè)配置c
i
，在視頻內(nèi)容X(t)下分別計(jì)算該配置下的資源開(kāi)銷F(X(t)，c
i
)與深度神經(jīng)網(wǎng)絡(luò)模型推理準(zhǔn)確度Acc(X(t)，c
i
)，并按照計(jì)算對(duì)應(yīng)的效用函數(shù)值
[0023]選擇效用函數(shù)值最高的配置作為能夠平衡資源開(kāi)銷與深度神經(jīng)網(wǎng)絡(luò)模型推理準(zhǔn)確度的最佳配置；
[0024]其中，視頻內(nèi)容X(t)為當(dāng)前配置分析窗口的經(jīng)驗(yàn)特征分布構(gòu)成的集合；ω為權(quán)重系數(shù)，ω＞0。
[0025]按照本專利技術(shù)的另一個(gè)方面，提供了一種基于內(nèi)容的實(shí)時(shí)視頻分析配置更新系統(tǒng)，包括：
[0026]配置分析器，用于從預(yù)設(shè)的配置空間中選取能夠平衡資源開(kāi)銷與深度神經(jīng)網(wǎng)絡(luò)模型推理準(zhǔn)確度的最佳配置，并發(fā)送至攝像頭，使攝像頭進(jìn)行配置更新；
[0027]語(yǔ)義特征提取模塊，用于將當(dāng)前配置分析窗口尾部長(zhǎng)度為λ
*
的視頻流輸入至深度神經(jīng)網(wǎng)絡(luò)模型，以提取該視頻流中每一幀的語(yǔ)義特征；
[0028]分布估計(jì)器，用于根據(jù)語(yǔ)義特征提取模塊提取的每一幀的語(yǔ)義特征計(jì)算視頻流的特征分布，得到當(dāng)前配置分析窗口的經(jīng)驗(yàn)特征分布
[0029]特征分布預(yù)測(cè)模塊，用于將經(jīng)驗(yàn)特征分布輸入至?xí)r間序列預(yù)測(cè)模型，以預(yù)測(cè)下一配置分析窗口頭部長(zhǎng)度為λ
*
的視頻流的特征分布，得到下一配置分析窗口的預(yù)測(cè)特征分布
[0030]變化檢測(cè)器，用于計(jì)算經(jīng)驗(yàn)特征分布與預(yù)測(cè)特征分布的分布距離D，并在D＞ε
d*
時(shí)，觸發(fā)配置分析器，以結(jié)束當(dāng)前時(shí)刻的配置更新；
[0031]其中，λ
*
為預(yù)設(shè)的預(yù)測(cè)窗口長(zhǎng)度。
[0032]總體而言，通過(guò)本專利技術(shù)所構(gòu)思的以上技術(shù)方案，能夠取得以下有益效果：
[0033](1)本專利技術(shù)按照配置分析窗口對(duì)視頻內(nèi)容進(jìn)行檢測(cè)分析，在每一個(gè)配置分析窗口，利用深度神經(jīng)網(wǎng)絡(luò)提取用于刻畫(huà)視頻動(dòng)態(tài)特性的語(yǔ)義特征，通過(guò)計(jì)算視頻狀態(tài)在每個(gè)時(shí)刻的概率分布來(lái)刻畫(huà)視頻的內(nèi)容，并預(yù)測(cè)視頻內(nèi)容未來(lái)的狀態(tài)分布，將視頻內(nèi)容變化的檢測(cè)問(wèn)題轉(zhuǎn)變?yōu)楹饬績(jī)蓚€(gè)概率分布的相似度問(wèn)題，實(shí)現(xiàn)了對(duì)視頻內(nèi)容變化程度的提前感知本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法，其特征在于，包括：(S1)將當(dāng)前配置分析窗口尾部長(zhǎng)度為λ
*
的視頻流輸入至深度神經(jīng)網(wǎng)絡(luò)模型，以提取該視頻流中每一幀的語(yǔ)義特征；(S2)根據(jù)所提取的每一幀的語(yǔ)義特征計(jì)算視頻流的特征分布，得到當(dāng)前配置分析窗口的經(jīng)驗(yàn)特征分布(S3)將所述經(jīng)驗(yàn)特征分布輸入至?xí)r間序列預(yù)測(cè)模型，以預(yù)測(cè)下一配置分析窗口頭部長(zhǎng)度為λ
*
的視頻流的特征分布，得到下一配置分析窗口的預(yù)測(cè)特征分布(S4)計(jì)算所述經(jīng)驗(yàn)特征分布與所述預(yù)測(cè)特征分布的分布距離D，若D≤ε
d*
，則維持所述攝像頭的配置不變；若D＞ε
d*
，則從預(yù)設(shè)的配置空間中選取能夠平衡資源開(kāi)銷與深度神經(jīng)網(wǎng)絡(luò)模型推理準(zhǔn)確度的最佳配置，并發(fā)送至所述攝像頭，使所述攝像頭進(jìn)行配置更新；其中，λ
*
為預(yù)設(shè)的預(yù)測(cè)窗口長(zhǎng)度。2.如權(quán)利要求1所述的基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法，其特征在于，預(yù)測(cè)窗口長(zhǎng)度λ
*
的確定方式包括：利用歷史數(shù)據(jù)獲取所述時(shí)間序列預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度與預(yù)測(cè)窗口長(zhǎng)度的對(duì)應(yīng)關(guān)系，將其中最高準(zhǔn)確度所對(duì)應(yīng)的預(yù)測(cè)窗口長(zhǎng)度作為所述預(yù)測(cè)窗口長(zhǎng)度λ
*
。3.如權(quán)利要求2所述的基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法，其特征在于，還包括：在初始時(shí)刻，設(shè)置配置分析窗口長(zhǎng)度為λ
*
；并且，所述步驟(S4)還包括：若D＞ε
d*
，則將下一配置分析窗口的長(zhǎng)度設(shè)置為λ
*
；若D≤ε
d*
，則設(shè)置下一配置分析窗口的長(zhǎng)度大于當(dāng)前配置分析窗口的長(zhǎng)度。4.如權(quán)利要求1～3任一項(xiàng)所述的基于內(nèi)容的實(shí)時(shí)視頻分析配置更新方法，其特征在于，檢測(cè)閾值ε
d*
的確定方式包括：根據(jù)求解檢測(cè)閾值ε
d
與預(yù)測(cè)窗口長(zhǎng)度λ的第一關(guān)系式；根據(jù)求解檢測(cè)閾值ε
d
與預(yù)測(cè)窗口長(zhǎng)度λ的第一關(guān)系式；在時(shí)隙長(zhǎng)度為λ
*
的條件下，計(jì)算同時(shí)滿足所述第一關(guān)系式和所述第二關(guān)系式的檢測(cè)閾值ε
d
的最大值，作為所述檢測(cè)閾值ε
d*
；其中，表示第m個(gè)配置分析窗口的經(jīng)驗(yàn)特征分布，表示第m+1個(gè)配置分析窗口的預(yù)測(cè)特征分布，p
m+1
(t)表示第m+1個(gè)配置分析窗口的真實(shí)特征分布，D(...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：程巖，楊鵬，
申請(qǐng)(專利權(quán))人：華中科技大學(xué)，
類型：發(fā)明
國(guó)別省市：