• 
    <ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>

    基于隨機采樣一致集的譜圖異常樣本點檢測方法技術

    技術編號:8531008 閱讀:300 留言:0更新日期:2013-04-04 13:00
    本發明專利技術公開了一種基于隨機采樣一致集的譜圖異常樣本點檢測方法,以最大后驗概率隨機采樣一致集為基礎,從給定光譜數據入手,通過主成分分析預先剔除部分異常樣本得到校正樣本集,進行隨機采樣,建立多元校正模型并評價模型性能,通過多次隨機采樣,選擇合適的樣本子集為內點集。本發明專利技術所設計的基于隨機采樣一致集的譜圖異常樣本點檢測方法快速有效、準確度高和適用范圍廣。

    【技術實現步驟摘要】

    本專利技術涉及化學計量學多元校正模型數據處理
    ,特別涉及一種。
    技術介紹
    隨著現代分析儀器的發展,檢測信號已由傳統的單一數值變化為完整的譜圖,甚至是圖像。對于光譜數據,維數相對于采集的樣本個數來說通常是很高的,此時校正回歸問題嚴重病態,傳統的一元單變量校正方法難以對這些數據進行分析,取而代之的是多元校正方法[1]。化學計量學多元校正技術直接利用測量信號,通過降維、特征提取、特征變換以及多元回歸技術建立光譜信號與樣品濃度之間的定量模型,以實現定量分析。然而,經典的多元校正方法,如多元線性回歸、主成分回歸、偏最小二乘回歸[2_3]通常特別易受異常樣本點的影響。一般地,與數據集中大部分樣本相比,異常樣本就是無關的、或者某種程度上是錯誤的和不正常的樣本。異常樣本一般是由儀器故障、采集條件因素、人為操作誤差或數據自身缺陷等原因引起的。異常樣本的存在會影響模型的質量,導致建立的模型無法反映數據的真實關系,無法得到準確的預測結果。因此,需要剔除異常樣本點的影響建立穩健的模型[4]。對于主成分回歸,一般采用穩健的協方差估計替代傳統的數據協方差矩陣,從而實現穩健的主成分回歸。對于偏最小二乘(PLS)回歸,不同的穩健PLS模型被提出,如將PLS方法中所涉及到的最小二乘回歸方法,部分或全部替換成某種穩健回歸方法,如迭代重加權最小二乘(IRLS)、最小中位數平方法(LMS)和截尾最小二乘法(LTS)等;迭代重加權偏最小二乘(IRPLS)方法[5];偏穩健M回歸方法[6] ;RSIMPLS方法[7]。還有一類方法通過交叉驗證來檢測異常樣本,如基于留一交叉驗證得到每個樣本對應的光譜殘差或濃度殘差,然后判定殘差超出某個閾值的樣本為異常樣本M ;類似地,模特卡羅交叉驗證也被用于異常樣本檢測,該方法首先建立模特卡羅交叉驗證模型,然后根據預測誤差平方和排序,并統計每個樣本在不同模型中的出現頻次,最終基于異常樣本與正常樣本的出現頻次差異來判定樣本是否異常。然而,基于交叉驗證的異常樣本檢測方法,可能會產生“掩蓋”現象,導致無法檢測出或錯誤識別異常樣本。穩健的主成分回歸或偏最小二乘回歸對于數據集中異常樣本較多時檢測效果較差。基于最大后驗概率隨機采樣一致集[9],進行多元校正異常樣本檢測,是一種新的方法,它能夠通過不斷地隨機采樣,剔除數據中的異常樣本,目前還未見成熟的技術與文獻?,F實應用中的各種復雜情形,如觀測條件、操作因素等,均會導致異常樣本點的出現。各種不同類型的異常樣本點對校正模型的影響程度不同,如何有效消除這些異常樣本的影響是化學計量學多元校正技術的一個難題。[l]Martens H, Nas T. Multivariate calibration. Wiley, 1992[2]ffold H. Soft modelling by latent variables:the nonlineariterativepartial least squares approach.Perspectives in Probability andStatistics.本文檔來自技高網...

    【技術保護點】
    一種基于隨機采樣一致集的譜圖異常樣本點檢測方法,其特征在于,包括如下具體步驟:步驟(1):對給定光譜數據X進行穩健主成分分析,檢測并消除異常光譜樣本點,得到校正樣本集Xc,記校正樣本集Xc中樣本數目為mc;步驟(2):在所述步驟(1)中的校正樣本集Xc上進行隨機采樣,得到當前的訓練集Xs;步驟(3):基于所述步驟(2)中的訓練集Xs建立多元校正模型,并計算模型預測殘量誤差Es;步驟(4):利用步驟(3)中的多元校正模型和模型預測殘量誤差Es,評價模型的性能并得出評價得分,并將步驟(1)中的校正樣本集Xc確定為內點集uc;步驟(5):重復步驟(2)至步驟(4)N次,其中N定義為自然數,從而得到N個評價得分,選擇其中評價得分最高的多元校正模型所對應的校正樣本集為最終的內點集um。

    【技術特征摘要】
    1.一種基于隨機采樣一致集的譜圖異常樣本點檢測方法,其特征在于,包括如下具體步驟 步驟(I):對給定光譜數據X進行穩健主成分分析,檢測并消除異常光譜樣本點,得到校正樣本集X。,記校正樣本集X。中樣本數目為m。; 步驟(2):在所述步驟(I)中的校正樣本集X。上進行隨機采樣,得到當前的訓練集Xs ; 步驟(3):基于所述步驟(2)中的訓練集Xs建立多元校正模型,并計算模型預測殘量誤差Es ; 步驟(4):利用步驟(3)中的多元校正模型和模型預測殘量誤差Es,評價模型的性能并得出評價得分,并將步驟(I)中的校正樣本集X。確定為內點集U。; 步驟(5):重復步驟(2)至步驟(4)N次,其中N定義為自然數,從而得到N個評價得分,選擇其中評價得分最高的多元校正模型所對應的校正樣本集為最終的內點集um。2.根據權利要求1所述的基于隨機采樣一致集的譜圖異常樣本點檢測方法,其特征在于,所述步驟(I)包括如下具體步驟 步驟(11):建立模型X=TPt,其中Ttt1, t2,…,ta]T定義為得分矩陣,Ρ[ρι,ρ2,…,pa]TS義為載荷矩陣,a定義為主成分個數; 步驟(12):利用公式t—i^media...

    【專利技術屬性】
    技術研發人員:王海燕,劉軍,姜久英,
    申請(專利權)人:江蘇易譜恒科技有限公司,
    類型:發明
    國別省市:

    網友詢問留言 已有0條評論
    • 還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。

    1
    主站蜘蛛池模板: 国产V亚洲V天堂A无码| 日韩av无码免费播放| 寂寞少妇做spa按摩无码 | 国产午夜无码精品免费看| 国产50部艳色禁片无码| 中文AV人妻AV无码中文视频| 成人免费无码大片A毛片抽搐色欲 成人免费无码大片a毛片 | 亚洲日韩激情无码一区| 中文字幕日产无码| 国产成人精品无码片区在线观看| 久久人妻少妇嫩草AV无码专区| 伊人久久大香线蕉无码麻豆 | 无码乱肉视频免费大全合集| 日韩成人无码中文字幕| 人妻中文字幕AV无码专区| 久久精品中文字幕无码| 亚洲Av无码国产一区二区| 中文字幕有码无码AV| 久久久久久亚洲精品无码| 久久无码国产专区精品| 久99久无码精品视频免费播放| 6080YYY午夜理论片中无码| 好爽毛片一区二区三区四无码三飞| 久久久久久久久免费看无码| 亚洲av日韩av无码黑人| 久久无码专区国产精品| 国产精品无码素人福利免费| 无码A级毛片免费视频内谢| 成人无码嫩草影院| 无码成人精品区在线观看 | 亚洲av无码国产精品夜色午夜| 亚洲国产精品无码第一区二区三区| 亚洲国产精品无码久久一线| 无码人妻精品一区二区蜜桃百度| 无码h黄动漫在线播放网站| 中文字幕丰满伦子无码| 精品无码专区亚洲| WWW久久无码天堂MV| 亚洲av永久无码| 亚洲a∨无码精品色午夜| 精品少妇无码AV无码专区|