System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內(nèi)的位置。 參數(shù)名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 在线观看亚洲AV每日更新无码,国产精品va无码免费麻豆,精品无码久久久久国产 
  • 

  • 
<ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>
    

    

    
    
      
    
          
          
    
            
    
                
    
                    
    
                        
    
                            
    一種學(xué)科教育大模型知識(shí)邊界探索方法技術(shù)
    
                            
    技術(shù)編號(hào)：44494279 閱讀：5 留言：0更新日期：2025-03-04 18:00
    
                        
    
                        
    
                            
                            本發(fā)明專利技術(shù)屬于自然語言處理領(lǐng)域，具體涉及大語言模型領(lǐng)域，尤其涉及一種學(xué)科教育大模型知識(shí)邊界探索方法。針對(duì)大模型在特殊領(lǐng)域能力下降及幻覺問題，該方法先利用大語言模型原理，基于softmax函數(shù)獲取token生成概率，再設(shè)計(jì)算法計(jì)算概率波動(dòng)性衡量回復(fù)置信度，接著設(shè)定數(shù)據(jù)集并人工標(biāo)注，統(tǒng)計(jì)得到知識(shí)邊界內(nèi)波動(dòng)率閾值。最后進(jìn)行特定指令微調(diào)，標(biāo)注數(shù)據(jù)并替換邊界外數(shù)據(jù)原始回復(fù)作為微調(diào)數(shù)據(jù)集，糾正模型知識(shí)邊界認(rèn)知。此方法通過對(duì)模型回復(fù)的評(píng)估與知識(shí)邊界探索，有效提取邊界外知識(shí)并微調(diào)模型，降低了因知識(shí)缺乏產(chǎn)生的幻覺，提升了模型在學(xué)科教育領(lǐng)域的實(shí)用性與準(zhǔn)確性。
    
                            
                            
    


    
                            

                            
    【技術(shù)實(shí)現(xiàn)步驟摘要】
    
                                
    本專利技術(shù)屬于自然語言處理領(lǐng)域，具體涉及大語言模型領(lǐng)域，尤其涉及一種學(xué)科教育大模型知識(shí)邊界探索方法。

    技術(shù)介紹
    1、大語言模型(large?language?models,llms)是一類通過深度學(xué)習(xí)技術(shù)訓(xùn)練而成的自然語言處理模型，旨在理解、生成人類語言。同時(shí)在教育領(lǐng)域有著廣泛的應(yīng)用前景。然而，目前絕大多數(shù)大語言模型為提高模型的語言理解能力，都是在海量公共領(lǐng)域數(shù)據(jù)下完成預(yù)訓(xùn)練，再進(jìn)行指令微調(diào)、強(qiáng)化學(xué)習(xí)等對(duì)齊訓(xùn)練。雖然這一方法提高了模型的對(duì)話能力同時(shí)擴(kuò)大了模型知識(shí)覆蓋面，但也不可避免的導(dǎo)致了模型對(duì)特定領(lǐng)域的信息缺失，進(jìn)而使得在特殊領(lǐng)域能力下降，更導(dǎo)致了“幻覺”的出現(xiàn)，因此提高模型在特殊領(lǐng)域的能力并降低幻覺十分重要。

    技術(shù)實(shí)現(xiàn)思路
    1、本專利技術(shù)針對(duì)上述的大模型語言在特殊領(lǐng)域能力下降的技術(shù)問題，提出一種學(xué)科教育大模型知識(shí)邊界探索方法。
    2、為了達(dá)到上述目的，本專利技術(shù)采用的技術(shù)方案為，包括以下步驟：
    3、s1、首先對(duì)學(xué)科大模型知識(shí)邊界進(jìn)行提取，利用大語言模型生成文本中的每個(gè)字符token具有概率值的原理，基于softmax函數(shù)將logits轉(zhuǎn)化為概率分布來獲取每個(gè)token的生成概率，每個(gè)token的生成概率其中zi表示tokenti對(duì)應(yīng)的logits值，表示模型在生成下一個(gè)token時(shí)對(duì)詞匯表中每個(gè)可能token的非標(biāo)準(zhǔn)化得分，v是詞匯表大小，表示大語言模型生成的所有token數(shù)量；
    4、s2、接著設(shè)計(jì)一個(gè)計(jì)算每個(gè)token概率波動(dòng)性來衡量模型生成回復(fù)置信度的算法，波動(dòng)性δ越大，說明模型在該回復(fù)中的置信度越不穩(wěn)定，計(jì)算方式如下：其中n表示生成序列中token的數(shù)量；
    5、s3、然后設(shè)定問題數(shù)據(jù)集θ，獲取學(xué)科教育大模型的回復(fù)，并人工標(biāo)注回復(fù)內(nèi)容屬于知識(shí)邊界內(nèi)還是知識(shí)邊界外，然后通過統(tǒng)計(jì)全部δ，得到一個(gè)知識(shí)邊界內(nèi)波動(dòng)率閾值ρ；
    6、s4、最后進(jìn)行特定指令微調(diào)，在完成如何評(píng)估大模型回答內(nèi)容是否為知識(shí)邊界內(nèi)的答案計(jì)算并獲取知識(shí)邊界內(nèi)波動(dòng)率閾值后，對(duì)θ內(nèi)的數(shù)據(jù)進(jìn)行標(biāo)注，將δ超過的ρ數(shù)據(jù)定義為知識(shí)邊界外數(shù)據(jù)，并將這些數(shù)據(jù)的原始大模型回復(fù)內(nèi)容替換，以此作為指令微調(diào)數(shù)據(jù)集對(duì)大模型進(jìn)行知識(shí)邊界認(rèn)知糾正。
    7、作為優(yōu)選，所述步驟s1中學(xué)科教育大模型知識(shí)邊界提取，是通過計(jì)算模型生成回復(fù)的置信度曲線波動(dòng)率來確定大模型的知識(shí)邊界。
    8、與現(xiàn)有技術(shù)相比，本專利技術(shù)的優(yōu)點(diǎn)和積極效果在于，通過對(duì)模型回復(fù)的答案的準(zhǔn)確性判斷及生成答案所需知識(shí)的邊界探索，有效提取了模型的邊界外知識(shí)，并豐富這部分知識(shí)對(duì)大模型進(jìn)行指令微調(diào)，有效降低了模型因知識(shí)缺乏帶來的幻覺。
    本文檔來自技高網(wǎng)...
                            
    
                            
    【技術(shù)保護(hù)點(diǎn)】
    
                                
    1.一種學(xué)科教育大模型知識(shí)邊界探索方法，其特征在于，包括以下步驟：
    2.根據(jù)權(quán)利要求1所述的一種學(xué)科教育大模型知識(shí)邊界探索方法，其特征在于，所述步驟S1中學(xué)科教育大模型知識(shí)邊界提取，是通過計(jì)算模型生成回復(fù)的置信度曲線波動(dòng)率來確定大模型的知識(shí)邊界。
    
                            
    
                            
    【技術(shù)特征摘要】
    
                                
    1.一種學(xué)科教育大模型知識(shí)邊界探索方法，其特征在于，包括以下步驟：
    2.根據(jù)權(quán)利要求1所述的一種學(xué)科教育大模型知識(shí)邊界...
                            
    
                            
    【專利技術(shù)屬性】
    
                                技術(shù)研發(fā)人員：趙志俊，廖大強(qiáng)，徐義晗，丁勝高，鄭偉，陳亮，董文軒，李曉芹，王文江，吳天慧，
    
        申請(qǐng)(專利權(quán))人：廣東南華工商職業(yè)學(xué)院，
    
        類型：發(fā)明
    
        國別省市：
    
                            
    
                            
                        
    
                    
    
                    
                    
                     
                
    
                
                
    
                    
    
                        網(wǎng)友詢問留言
                        已有0條評(píng)論
                    
    
                    
    
                        
    
                            
      
                                
    • 
                                
						

      還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。
      


                              
                            
    
                            
    
                                 1 

                            
    
                        
    
                        
                        
    
                            
    
                              
                            
    
                            
                        
    
                    
    
                
    
            
    
              
             
          
    
      
    
    
    

    
    
    




  


主站蜘蛛池模板：
无码福利写真片视频在线播放|
国模无码一区二区三区|
国产成人无码精品一区在线观看|
日韩免费无码一区二区视频|
亚洲精品无码久久毛片|
免费A级毛片无码视频|
国产精品无码MV在线观看|
国产成人精品无码片区在线观看|
AV无码久久久久不卡网站下载|
国产亚洲精品无码拍拍拍色欲|
亚洲a∨无码男人的天堂|
一本加勒比hezyo无码专区|
免费无码又爽又刺激聊天APP|
国产亚洲AV无码AV男人的天堂|
JAVA性无码HD中文|
色综合久久无码中文字幕|
亚洲一本大道无码av天堂|
亚洲精品无码mⅴ在线观看|
亚洲精品无码不卡在线播放HE
|
亚洲AV无码一区二区三区性色|
久久无码精品一区二区三区|
人妻少妇精品无码专区|
色综合久久久无码网中文|
日日摸日日碰夜夜爽无码|
亚洲av成人无码久久精品|
国产真人无码作爱免费视频|
曰韩无码无遮挡A级毛片|
日本无码WWW在线视频观看|
亚洲AV无码一区二区二三区软件|
夜夜精品无码一区二区三区|
久久美利坚合众国AV无码|
亚洲私人无码综合久久网|
亚洲国产精品无码中文lv|
亚洲av永久中文无码精品
|
国产精品无码久久四虎|
啊灬啊别停灬用力啊无码视频|
在线观看亚洲AV每日更新无码|
亚洲av永久无码精品网址|
国产精品无码专区AV在线播放|
国产精品亚洲专区无码牛牛|
亚洲精品无码AV中文字幕电影网站
|