一種基于Bagging和離群點的分類結果置信度的度量方法技術

本發明專利技術公開了一種基于Bagging和離群點的分類結果置信度的度量方法，首先采用Logistic回歸、支持向量機和樸素貝葉斯中的一個作為基分類器對待度量置信度數據進行分類，計算在不同分類中的分類概率得到待度量置信度數據的分類結果集和分類概率集，通過分類結果集得到待度量置信度數據的分類結果；在分類概率集中，將每個分類作為空間中一個點，以分類結果對應分類概率集中的點作為離群點，余下分類對應分類概率集中的點為一個簇，最后使用歐式距離比較簇內每個點到簇質心的距離和到離群點的距離，若滿足簇內所有點到簇質心的距離小于到離群點的距離，則該分類結果為可信，反之則為不可信。本發明專利技術避免了模型再學習時因采用了不可信的分類結果對訓練模型的影響。

A method for measuring confidence in classification results based on Bagging and outlier

The invention discloses a method for measuring the reliability of the classification based on Bagging and outliers, firstly using Logistic regression, support vector machine and a Naive Bayesian as the base classifier to measure the reliability of data classification, calculation of probability in different categories of measurement to obtain the reliability of data classification set and the classification probability set, through the classification result set to obtain the classification measure for the reliability of data; focus on the classification probability of each classification as a point in space, the classification results corresponding to centralized classification probability points as outliers, the remaining classification corresponding classification probability set point as a cluster, and finally the use of European style distance between each point within a cluster to cluster centroid distance and outlier distance, if the cluster of all point to the cluster centroid is smaller than the distance to the outlier Distance, then the classification results are credible, and the contrary is not credible. The invention avoids the influence of the training result on the training model when the model is re learning.

【技術實現步驟摘要】
一種基于Bagging和離群點的分類結果置信度的度量方法
本專利技術屬于分類結果置信度度量
，特別涉及一種基于Bagging和離群點的分類結果置信度的度量方法。
技術介紹
通過待度量數據來提高模型的準確性是在線學習中重要的部分，而如何保持學習數據的準確性變得尤為重要。分類結果置信度度量的方法是對每次分類后用于衡量分類的結果可信或不可信的方法，這對保持訓練集和模型再訓練有很重要的意義。傳統的對Logistic回歸、SVM和樸素貝葉斯等模型分類結果不進行置信度度量，模型再學習時無法避免學習不可信的分類結果對模型的影響。嚴云洋和朱全銀等人已有的研究基礎包括：嚴云洋,吳茜茵,杜靜,周靜波,劉以安.基于色彩和閃頻特征的視頻火焰檢測.計算機科學與探索，2014,08(10):1271-1279；SGao，JYang，YYan.Anovelmultiphaseactivecontourmodelforinhomogeneousimagesegmentation.MultimediaToolsandApplications，2014,72(3):2321-2337；SGao,JYang,YYan.Alocalmodifiedchan–vesemodelforsegmentinginhomogeneousmultiphaseimages.InternationalJournalofImagingSystemsandTechnology,2012,22(2):103-113；劉金嶺,嚴云洋.基于上下文的短信文本分類方法.計算機工程,2011,37(10):41-43；嚴云洋,高尚兵,郭志波,盛明超.基于視頻圖像的火災自動檢測.計算機應用研究,2008,25(4):1075-1078YYan,ZGuo,JYang.FastFeatureValueSearchingforFaceDetection.ComputerandInformationScience，2008,1(2):120-128；朱全銀,潘祿,劉文儒,等.Web科技新聞分類抽取算法[J].淮陰工學院學報,2015,24(5):18-24；李翔,朱全銀.聯合聚類和評分矩陣共享的協同過濾推薦[J].計算機科學與探索,2014,8(6):751-759；QuanyinZhu,SunqunCao.ANovelClassifier-independentFeatureSelectionAlgorithmforImbalancedDatasets.2009,p:77-82；QuanyinZhu,YunyangYan,JinDing,JinQian.TheCaseStudyforPriceExtractingofMobilePhoneSellOnline.2011,p:282-285；QuanyinZhu,SuqunCao,PeiZhou,YunyangYan,HongZhou.IntegratedPriceForecastbasedonDichotomyBackfillingandDisturbanceFactorAlgorithm.InternationalReviewonComputersandSoftware,2011,Vol.6(6):1089-1093；朱全銀等人申請、公開與授權的相關專利：朱全銀，胡蓉靜，何蘇群，周培等.一種基于線性插補與自適應滑動窗口的商品價格分類方法.中國專利:ZL201110423015.5,2015.07.01；朱全銀，曹蘇群，嚴云洋，胡蓉靜等，一種基于二分數據修補與擾亂因子的商品價格分類方法.中國專利:ZL201110422274.6,2013.01.02；朱全銀，尹永華，嚴云洋，曹蘇群等，一種基于神經網絡的多品種商品價格分類的數據預處理方法.中國專利:ZL201210325368.6；李翔，朱全銀，胡榮林，周泓.一種基于譜聚類的冷鏈物流配載智能推薦方法.中國專利公開號:CN105654267A,2016.06.08；曹蘇群，朱全銀，左曉明，高尚兵等人，一種用于模式分類的特征選擇方法.中國專利公開號：CN103425994A，2013.12.04；朱全銀，嚴云洋，李翔，張永軍等人，一種用于文本分類和圖像深度挖掘的科技情報獲取與推送方法.中國專利公開號:CN104035997A,2014.09.10；朱全銀，辛誠，李翔，許康等人，一種基于Kmeans和LDA雙向驗證的網絡行為習慣聚類方法.中國專利公開號:CN106202480A,2016.12.07。Bagging(裝袋法)：Bagging是一種用來提高學習算法準確度的方法，這種方法通過構造一個分類函數系列，然后以一定的方式將它們組合成一個分類函數。Bagging技術的主要思想是采用重采樣技術，從原始數據集中分別獨立隨機地選取數據，并且將此過程獨立進行多次，直到產生很多個獨立的數據集。給定一個弱學習算法，可以通過該弱學習算法對產生的多個訓練樣本集進行學習，得出分類函數序列，將結果進行投票，得票最多的作為最后的結果。離群點：離群點檢測是數據挖掘中的一個分支，它的任務是識別其數據特征顯著不同于其他數據對象的觀測值。離群點檢測在數據挖掘中非常重要，因為如果異常是由固有數據的變異造成的，那么對它們進行分析可以發現蘊藏在其中更深層次的、潛在的、有價值的信息。因此，離群點檢測是一個非常有意義的研究方向。Logistic回歸：Logistic回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，與線性回歸不同，Logistic回歸是一種非線性模型，普遍采用的參數估計方法是最大似然估計法。常用于數據挖掘，疾病自動診斷，經濟分類等領域。Logistic回歸方法能對分類因變量和分類自變量或連續自變量，或混合變量進行回歸建模，有一整套成熟的對回歸模型和回歸參數進行檢驗的標準，以事件發生概率的形式提供結果。支持向量機：支持向量機是Vapnik等人在多年研究統計學習理論基礎上對線性分類器提出了另一種設計最佳準則。其原理也從線性可分說起，然后擴展到線性不可分的情況。甚至擴展到使用非線性函數中去，這種分類器被稱為支持向量機(SupportVectorMachine，簡稱SVM)。樸素貝葉斯分類器：樸素貝葉斯分類器是一種應用基于獨立假設的貝葉斯定理的簡單概率分類器，更精確的描述這種潛在的概率模型為獨立特征模型，貝葉斯分類的基礎是概率推理，就是在各種條件的存在不確定，僅知其出現概率的情況下，如何完成推理和決策任務，概率推理是與確定性推理相對應的，而樸素貝葉斯分類器是基于獨立假設的，即假設樣本每個特征與其他特征都不相關。歐式距離：歐幾里得度量也稱歐氏距離，是一個通常采用的距離定義，指在m維空間中兩個點之間的真實距離，或者向量的自然長度(即該點到原點的距離)。在二維和三維空間中的歐氏距離就是兩點之間的實際距離。Logistic回歸、支持向量機和樸素貝葉斯在分類時對待置信度度量的數據和分類結果直接加入訓練集中，該方法無法避免將不可信的度量數據和分類結果加入到可信數據集中，這使得模型的準確度和穩定性降低。為了能更好的利用以上算法，避免分類數據加入可信數據集時對模型的影響，因此需要找到一種能夠對分類結本文檔來自技高網...

【技術保護點】
一種基于Bagging和離群點的分類結果置信度的度量方法，其特征在于，包括如下步驟：步驟一：對已有可信數據集采用Bagging集成學習方法，即采用Logistic回歸、支持向量機和樸素貝葉斯中一個作為基分類器，得到基分類器的分類模型集；步驟二：通過步驟一得出的基分類器的分類模型集，對待度量置信度數據進行分類，并計算在不同分類中的分類概率，得到待度量置信度數據的分類結果集和待度量置信度數據的分類概率集，再對分類結果集進行統計，得到待度量置信度數據的分類結果；步驟三：采用離群點分析方法，對待度量置信度數據的分類結果進行置信度度量，得到待度量置信度數據中的可信數據和不可信數據，并將待度量置信度數據中滿足置信條件的數據加入已有可信數據集。

【技術特征摘要】
1.一種基于Bagging和離群點的分類結果置信度的度量方法，其特征在于，包括如下步驟：步驟一：對已有可信數據集采用Bagging集成學習方法，即采用Logistic回歸、支持向量機和樸素貝葉斯中一個作為基分類器，得到基分類器的分類模型集；步驟二：通過步驟一得出的基分類器的分類模型集，對待度量置信度數據進行分類，并計算在不同分類中的分類概率，得到待度量置信度數據的分類結果集和待度量置信度數據的分類概率集，再對分類結果集進行統計，得到待度量置信度數據的分類結果；步驟三：采用離群點分析方法，對待度量置信度數據的分類結果進行置信度度量，得到待度量置信度數據中的可信數據和不可信數據，并將待度量置信度數據中滿足置信條件的數據加入已有可信數據集。2.根據權利要求1所述的基于Bagging和離群點的分類結果置信度的度量方法，其特征在于，所述步驟一中得到基分類器的分類模型集的具體方法為：步驟1.1：定義已有可信數據集的特征和分類屬性；步驟1.2：選擇Logistic回歸、支持向量機和樸素貝葉斯中一個作為基分類器Function；步驟1.3：對步驟1.1中定義過的已有可信數據集采用Bagging集成學習方法，以步驟1.2中選擇的Function為基分類器，得到Function的分類模型集。3.根據權利要求1所述的基于Bagging和離群點的分類結果置信度的度量方法，其特征在于，所述步驟二中得到待度量置信度數據的分類結果的具體方法為：步驟2.1：對待度量置信度數據進行分類，并計算不同分類中的分類概率，得到待度量置信度數據的分...

【專利技術屬性】
技術研發人員：嚴云洋，瞿學新，朱全銀，于柿民，趙陽，唐海波，潘舒新，
申請(專利權)人：淮陰工學院，
類型：發明
國別省市：江蘇,32