一種面向人工智能組件的測試用例生成方法技術

本發明專利技術公開了一種面向人工智能組件的測試用例生成方法，屬于圖像處理領域；具體為：首先，針對原始圖片，基于條件生成對抗網絡cGAN，使用one

【技術實現步驟摘要】
一種面向人工智能組件的測試用例生成方法


[0001]本專利技術屬于圖像處理的測試用例生成領域，具體為一種面向人工智能組件的測試用例生成方法。

技術介紹

[0002]人工智能技術是近年來計算機科學研究的焦點，隨著計算能力的提升，人工智能在當下已經廣泛應用于圖像識別、自然語言處理等方面，在具體的場景如自動駕駛、人臉識別、語音識別以及醫療輔助等方面人工智能更是有著無與倫比的優勢。在大數據時代下，人工智能能夠多快好省地從大量、多樣、低價值密度的數據中提取有價值信息，相關成果已經廣泛應用于生活的各個角落。
[0003]在傳統的軟件系統開發過程中，測試是一個極為重要的環節，測試的充分與否直接影響軟件上線后能否正常運行。隨著互聯網的發展，軟件規模已經發展到一個匪夷所思的地步，一旦軟件出現問題，造成的后果也難以想象。在航空、航天、醫療、自動駕駛等安全攸關的領域，測試不僅涉及大量經濟利益、更涉及使用者的生命安全，因此，充分的測試是至關重要的。
[0004]傳統軟件是算法驅動的，軟件系統的內部邏輯由算法決定，傳統測試技術依據測試覆蓋準則對程序分支做嚴格覆蓋測試就可以找出算法存在的缺陷。以神經網絡系統為代表的人工智能組件是數據驅動的，其內在邏輯由訓練數據訓練出的帶有特定權值的神經元以及神經元的連接方式決定，因此針對傳統軟件的測試方法和測試指標無法對特定神經網絡系統的內部邏輯進行充分測試和評估。對于神經網絡而言，同一輸入同一模型，在不同的訓練情況下輸出可能是不同的，因此單獨針對算法的測試是無法得出穩定、可靠并且有效的結論的。
[0005]當前針對人工智能組件的測試技術主要分為兩大類，第一類方法是使用測試傳統軟件的黑盒方法來測試人工智能組件，該方法不關心人工智能組件的內部構造，將待測組件完全視為黑盒，只關心其輸入和輸出。
[0006]黑盒方法主要有以下幾種：1.基于轉移模型的攻擊方法，其主要思想是基于本地模型的梯度生成對抗樣本來攻擊有相似功能的未知目標模型，這種方法需要使用訓練目標模型的訓練集；2.基于分數的攻擊方法，該方法使用模型的最終分類概率進行攻擊；3.基于決策的攻擊方法，該方法只需要模型最終輸出結果，就可以對目標模型發起攻擊。
[0007]當前的黑盒方法可以很好的構造攻擊樣本，讓訓練好的模型在一些生成的樣例中暴露出問題，但是基于此類的方法更多地著重于攻擊本身，對于人工智能組件的測試工作而言用例數量和覆蓋均有不足，用此方法進行測試其測試結果的可信度較低，并且對于需要進行大規模測試的人工智能組件難以實現自動化。
[0008]第二類方法采用白盒方法對以神經網絡為代表的人工智能組件進行測試；白盒方法通過獲得深度神經網絡的內部神經元狀態建立優化函數，以最大化神經元覆蓋率為目標來生成測試樣例。白盒方法的目標函數是預測值與原始標簽之間的差異，對該函數進行梯
度下降優化，來獲得具有不同神經元覆蓋情況以及不同預測值的樣例。白盒方法的優點在于其建立了更有解釋性的覆蓋率指標用以指導測試用例生成，但是對于一些無法了解網絡結構的場景，白盒方法就無能為力了。
[0009]在具體的測試過程中需要面對的問題主要有兩個：
[0010]一是測試用例評估，測試用例無窮無盡，需要一個指標來評估測試用例是否能夠發現被測系統中潛在的缺陷和故障、是否充分能夠覆蓋待測試的所有功能點。在傳統軟件的白盒測試中，可以通過語句覆蓋、分支覆蓋或條件覆蓋等覆蓋準則來判斷測試用例的充分性，在黑盒測試中，由于能掌握的信息只有輸入和輸出，因此僅能依照測試需求進行一些功能測試，但這些測試的充分性很難說明。
[0011]在評估針對人工智能的測試套件質量的方法中，DeepMutation方法借鑒了變異測試的思路，即通過對深度神經網絡進行變異，生成與原有網絡結構相異的新網絡來對測試套件進行測試，并基于該思路提出了相應的測試用例評估指標。實驗結果表明，DeepMutation可以對測試用例集的質量進行有效定量評估，并依照評估指標幫助開發人員提高測試數據價值。
[0012]二是測試用例生成?，F有技術中采用從傳統軟件測試技術遷移而來的基于覆蓋率生成測試用例的方法，覆蓋性指標一般從深度神經網絡的結構入手，從不同角度規定測試用例集激活的神經元個數以及激活神經元的結構來確定覆蓋率，再以覆蓋率最大化為目標生成測試用例，該方法需要深入神經網絡結構中觀測每一個神經元的輸出值。還有另一種方法是對抗測試，通過向原本數據添加微小擾動，讓數據產生人類難以分辨的變化，卻讓人工智能組件得到截然不同的輸出，此類方法即為對抗方法。對抗方法可通過白盒方法利用神經網絡內部信息構建優化函數，如L
?
BFGS，FGSM算法等都可以快速生成對抗樣本，C&W可以繞開防御蒸餾技術對深度神經網絡進行攻擊；對抗方法也可以通過黑盒方式進行，Brendel等人提出的基于決策的黑盒對抗算法，可以通過邊界攻擊的方法找到決策邊界附近的對抗樣本。這些對抗方法都取得了不錯的效果。
[0013]但是現有技術中沒有針對測試用例的功能，功能測試需要通過驗證軟件行為是否符合預期來判斷軟件是否達到功能說明書中的要求。因此，測試軟件的用例集應盡可能充分，盡可能多地發現組件缺陷。目前，不論是傳統測試技術的遷移所做的覆蓋率測試，還是對抗測試生成技術，這類技術生成的樣本集均無法充分覆蓋規格說明書中的功能約束，且存在大量在實際應用場景中不會出現的無效用例。
[0014]此外，當樣本應用場景局限于模型對抗訓練、對抗攻擊場景，測試樣例就可能無法滿足功能測試所必須的充分性和可靠性要求。

技術實現思路

[0015]針對當前人工智能組件的測試用例可能無法充分覆蓋功能約束的問題，本專利技術提出了一種面向人工智能組件的測試用例生成方法，實現了在不清楚被測人工智能組件內部結構的情況下，通過模糊框架指導生成充分覆蓋功能約束并且均勻、正確的測試用例，不僅能夠檢測被測組件是否實現了應有的功能，更能檢測出其是否實現了“不應實現的功能”；此外，本專利技術還提出了針對測試用例集的縮減方法，在保證樣例集功能的情況下能夠減小樣例集規模，降低了測試工作所需的時間成本。
[0016]所述的面向人工智能組件的測試用例生成方法，具體步驟如下：
[0017]步驟一、針對原始圖片，基于條件生成對抗網絡cGAN，使用one
?
hot編碼拼接到原始圖片生成測試樣例；
[0018]cGAN的目標函數如下所示：
[0019][0020]G(z|y)為生成器函數，D(x|y)為判別器函數；E
x～pdata(x)
表示期望值；
[0021]步驟二、通過cGAN的損失函數，采取模糊測試方法加入擾動項對生成的測試樣例進行擴充。
[0022]cGAN的損失函數為：L
cGAN
＝L
G
+L
D
；
[0023]L
G
為生成器損失函數，
[0024]其中，ε為擾動項，c
i本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種面向人工智能組件的測試用例生成方法，其特征在于，具體步驟如下：首先，針對原始圖片，基于條件生成對抗網絡cGAN，使用one
?
hot編碼拼接到原始圖片生成測試樣例；然后，通過cGAN的損失函數，采取模糊測試方法加入擾動項對生成的測試樣例進行擴充；通過隱空間采樣約束和訓練約束，并設計收益函數來估計擴充后測試樣例集的質量，保證樣例集滿足測試要求；接著，構建蛻變關系對滿足要求的樣例集進行縮減，生成最終面向人工智能組件的測試用例；蛻變關系包括：MR1：當一個用例被判定為某一個分類并且置信度極高時，說明該用例處于決策空間中心位置，此時對其施加微小擾動，其分類結果不應該改變；MR2：當一個用例被判定為某一個分類并且置信度足夠高并且與其他被判定為該分類的樣例有一定差異時，說明該用例未處于決策空間中心也位處于決策空間邊緣，此時對其施加微小擾動，其分類結果不應該改變；MR3：當一個用例被判定為兩個分類的概率接近，說明其處于決策邊界，對其進行小幅擾動，會讓其結果出現錯誤；MR4：當一個用例對于各類的概率接近，說明無法將其分類，其處于決策空間外部，此時對該樣本進行擾動，分類結果仍然錯誤，這些用例為無效用例；通過MR1篩出的用例是能夠測試出被測模型是否實現了預期功能，能夠準確分類出較為明確的用例；通過MR2篩出的用例能夠測試出被測模型是否具有抵御噪聲的能力；MR3則是測試被測模型是否能夠抗混淆；通過MR4能夠選取出用例集中最具有代表性，高價值的用例；最后，利用可靠性、充分性以及覆蓋率三個指標對最終生成的測試用例進行驗證；可靠性描述的是用例集是否準確有效，用例執行結果的正確性是否是可判定的；充分性則用來描述用例集是否能夠發現盡可能多的問題；覆蓋率則是衡量測試用例是否覆蓋了所有功能約束；可靠性指標：g(X
R,model
)＝a*g1(X
R,model
)+(1
?
a)*g2(X
R,model
)其中，g1(X
R,model
)為正確性評估函數，該指標是用正確用例數目比有效用例集規模，用以評估用例集中具有正確預期結果的比例；g2(X
R,model
)為有效性評估函數，該指標使用滿足MR4的用例數量比用例集整體規模，用以評估用...

【專利技術屬性】
技術研發人員：呂江花，劉澤玉，陳奕寧，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：