本發(fā)明專利技術(shù)公開了一種自動獲得混合精度量化全局最優(yōu)化策略的方法，包括以下步驟：準備將要進行量化的深度神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集；從深度神經(jīng)網(wǎng)絡(luò)的所有混合量化組合中順序選取一個組合進行推理，并記錄實際的推理精度和實際的推理時間，重復直至遍歷所有混合量化組合；排除掉實際推理精度或?qū)嶋H推理時間不符合要求的混合量化組合，對剩余符合推理精度和推理時間要求的計算得分并按得分進行排序；選擇最高得分的混合量化組合作為混合精度量化全局最優(yōu)化策略。本發(fā)明專利技術(shù)遍歷所有混合量化組合，能自動找到全局最優(yōu)化的混合量化組合；用戶還可以通過修改推理精度權(quán)重和推理時間權(quán)重來調(diào)整混合量化組合得分標準，更好地在不同場景或不同模型找到全局最優(yōu)化的組合。型找到全局最優(yōu)化的組合。型找到全局最優(yōu)化的組合。
【技術(shù)實現(xiàn)步驟摘要】
一種自動獲得混合精度量化全局最優(yōu)化策略的方法
[0001]本專利技術(shù)涉及深度神經(jīng)網(wǎng)絡(luò)
，尤其涉及一種自動獲得混合精度量化全局最優(yōu)化策略的方法。
技術(shù)介紹
[0002]神經(jīng)網(wǎng)絡(luò)是一種運算模型，由大量的節(jié)點之間互相連接而成。每個連接需要大量的數(shù)據(jù)參與計算，經(jīng)過訓練的網(wǎng)絡(luò)模型通常使用高精度數(shù)據(jù)類型，這就導致在實際應(yīng)用中，需要耗費大量算力、內(nèi)存和時間等。神經(jīng)網(wǎng)絡(luò)模型量化是使用低精度的數(shù)據(jù)類型替代高精度的數(shù)據(jù)類型，在盡量不損失模型精度的前提下緩解算力的壓力、節(jié)約成本。針對可以量化的模型目前的量化方法只能保證其精度在一定的范圍內(nèi)，但這種方法不能保證是模型最佳量化方法。
[0003]中國專利申請CN112906883A提出了一種混合精度量化的方法。該方法依次對網(wǎng)絡(luò)的每一層進行量化，找到一個合適的量化精度，直到整個網(wǎng)絡(luò)完成。
[0004]該方法如假設(shè)神經(jīng)網(wǎng)絡(luò)有3層，量化精度只有兩種，即對神經(jīng)網(wǎng)絡(luò)的某一層要么量化，要么不量化，帶下劃線的代表該層需要量化，沒有下劃線的則代表該層不做量化。
[0005]“對比文件1：CN112906883A”的方法是，先對第一層分別進行不量化和量化，其它層則保持不做量化，會有以下兩種量化組合：1.（L1，L2，L3）2.（L1，L2，L3）假定上述兩種量化組合中，組合2的推理精度或者時間不符合要求，那么“對比文件1：CN112906883A”的兩個實施例在之后的第4步中（S4，將針對所有層篩選出的量化精度的多個不同組合中的一個確定為所述混合精度量化策略），最多只會考慮如下4種組合：3.（L1，L2，L3）4.（L1，L2，L3）5.（L1，L2，L3）6.（L1，L2，L3）很明顯，這4個組合中都不包含對L1做量化的組合，而由于在實際的神經(jīng)網(wǎng)絡(luò)中，不同層之間的計算相互影響和關(guān)聯(lián)，很有可能（L1，L2，L3）是符合推理精度和時間的，所以“對比文件1：CN112906883A”的方法并不能夠在簡單疊加的思路下，得到全局最優(yōu)化策略。
[0006]“對比文件1：CN112906883A”的方法對每一層依次進行量化，已完成量化的層就不會再發(fā)生改變，沒有考慮多層量化組合后通過改變之前量化的層來提高性能，因此，此方法未必能找到模型的最佳量化方法。同時，出現(xiàn)多種量化選擇時沒有給用戶提供選擇量化方法的依據(jù)，而是讓用戶隨便從多種量化方法中選擇，這樣會讓用戶選擇時產(chǎn)生困難，而且用戶未必能選擇到真正需要的量化模型。
技術(shù)實現(xiàn)思路
[0007]基于現(xiàn)有技術(shù)中存在的不足之處，本專利技術(shù)提供了一種自動獲得混合精度量化全局最優(yōu)化策略的方法，具體技術(shù)方案如下：一種自動獲得混合精度量化全局最優(yōu)化策略的方法，包括以下步驟：準備將要進行量化的深度神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集；從深度神經(jīng)網(wǎng)絡(luò)的所有混合量化組合中順序選取一個組合進行推理，并記錄實際的推理精度和實際的推理時間，重復直至遍歷所有混合量化組合；排除掉實際推理精度或?qū)嶋H推理時間不符合要求的混合量化組合，對剩余符合推理精度和推理時間要求的計算得分并按得分進行排序；選擇最高得分的混合量化組合作為混合精度量化全局最優(yōu)化策略。
[0008]具體的，所述混合量化組合的數(shù)量為：式中，n為深度神經(jīng)網(wǎng)絡(luò)層數(shù)，k為量化層數(shù)，0≤k≤n，剩余的n
?
k層不參與量化。
[0009]具體的，所述得分的計算式為：其中，s代表得分，p（）代表實際推理精度， 代表實際推理精度的權(quán)重， （ ）代表實際推理時間歸一化后的值， 代表實際推理時間的權(quán)重。
[0010]具體的，所述的實際推理精度的計算式為：其中，TP為在數(shù)據(jù)集中，推理預測正確的數(shù)量；FP為推理預測錯誤的數(shù)量；p為正確預測數(shù)量與總預測數(shù)量之比。
[0011]具體的，所述實際推理時間歸一化后的值 的計算公式為：其中， 為所有符合要求的混合量化組合的實際推理時間的最大值， 為所有符合要求的混合量化組合的實際推理時間的最值，t為實際推理時間。
[0012]具體的，所述實際推理時間的計算式為：其中，N為數(shù)據(jù)集中樣本的數(shù)量；為數(shù)據(jù)集中第i個樣本的推理時間；t為數(shù)據(jù)集中所有樣本的平均推理時間。
[0013]具體的，所述推理精度的權(quán)重 和推理時間的權(quán)重 根據(jù)用戶實際情況需求進行調(diào)節(jié)。
[0014]本專利技術(shù)通過對模型進行多次量化嘗試，通過精度和時間的綜合指標，找到模型的最佳量化方法。同時，用戶可以根據(jù)實際應(yīng)該場景的不同，可以通過精度優(yōu)先、時間優(yōu)先或者二者綜合這三個方面得到不同的量化結(jié)果，滿足了不同的應(yīng)用需求。
[0015]本專利技術(shù)的有益效果：（1）遍歷了所有混合量化組合，可以自動找到全局最優(yōu)化的混合量化組合。
[0016]（2） 用戶可以通過修改推理精度權(quán)重和推理時間權(quán)重來調(diào)整混合量化組合的得分標準，這樣可以更好地在不同場景或者不同模型的情況下找到全局最優(yōu)化的組合。
附圖說明
[0017]圖1所示是本專利技術(shù)的流程示意圖。
具體實施方式
[0018]為了對本專利技術(shù)的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對照附圖說明本專利技術(shù)的具體實施方式。
[0019]如圖1所示，本專利技術(shù)提出一種自動獲得混合精度量化全局最優(yōu)化策略的方法，包括一種自動獲得混合精度量化全局最優(yōu)化策略的方法，包括以下步驟：準備將要進行量化的深度神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集；從深度神經(jīng)網(wǎng)絡(luò)的所有混合量化組合中順序選取一個組合進行推理，并記錄實際的推理精度和實際的推理時間，重復直至遍歷所有混合量化組合；排除掉實際推理精度或?qū)嶋H推理時間不符合要求的混合量化組合，對剩余符合推理精度和推理時間要求的計算得分并按得分進行排序；選擇最高得分的混合量化組合作為混合精度量化全局最優(yōu)化策略。
[0020]具體的，所述混合量化組合的數(shù)量為：式中，n為深度神經(jīng)網(wǎng)絡(luò)層數(shù)，k為量化層數(shù)，0≤k≤n，剩余的n
?
k層不參與量化。
[0021]具體的，所述得分的計算式為：其中，s代表得分，p（）代表實際推理精度，代表實際推理精度的權(quán)重，（）代表實際推理時間歸一化后的值，代表實際推理時間的權(quán)重。
[0022]具體的，所述的實際推理精度的計算式為：其中，TP為在數(shù)據(jù)集中，推理預測正確的數(shù)量；FP為推理預測錯誤的數(shù)量；p為正確預測數(shù)量與總預測數(shù)量之比。
[0023]具體的，所述實際推理時間歸一化后的值 的計算公式為：其中， 為所有符合要求的混合量化組合的實際推理時間的最大值，為所有符合要求的混合量化組合的實際推理時間的最值，t為實際推理時間。
[0024]具體的，所述實際推理時間的計算式為：其中，N為數(shù)據(jù)集中樣本的數(shù)量；為數(shù)據(jù)集中第i個樣本的推理時間；t為數(shù)據(jù)集中所有樣本的平均推理時間。
[0025]具體的，所述推理精度的權(quán)重 和推理時間的權(quán)重根據(jù)用戶實際情況需求進行調(diào)節(jié)。
[0026]對比例1：中國專利申請CN112906883A提出了一種混合精度量化的方法。該方法依次對網(wǎng)絡(luò)的每一層進行量化，找到一個合適的量化精度，直到整個網(wǎng)絡(luò)完成。
[0027]該方法如假設(shè)神經(jīng)網(wǎng)絡(luò)有3本文檔來自技高網(wǎng)...
【技術(shù)保護點】
【技術(shù)特征摘要】
1.一種自動獲得混合精度量化全局最優(yōu)化策略的方法，其特征在于，包括以下步驟：準備將要進行量化的深度神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集；從深度神經(jīng)網(wǎng)絡(luò)的所有混合量化組合中順序選取一個組合進行推理，并記錄實際的推理精度和實際的推理時間，重復直至遍歷所有混合量化組合；排除掉實際推理精度或?qū)嶋H推理時間不符合要求的混合量化組合，對剩余符合推理精度和推理時間要求的計算得分并按得分進行排序；選擇最高得分的混合量化組合作為混合精度量化全局最優(yōu)化策略；所述混合量化組合的數(shù)量為：式中，n為深度神經(jīng)網(wǎng)絡(luò)層數(shù)，k為量化層數(shù)，0≤k≤n，剩余的n
?
k層不參與量化；其特征在于，所述得分的計算式為：其中，s代表得分，p（）代表實際推理精度，代表實際推理精度的權(quán)重，（）代表實際推理時間歸一化后的值，代表實際推理時間的權(quán)重。2.根據(jù)權(quán)利要求1所述的一種自動獲得混合精度量化全局最優(yōu)化策略...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：唐文超，王駿，熊大鵬，李濤，
申請(專利權(quán))人：上海億鑄智能科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。