【技術實現步驟摘要】
本專利技術涉及電力系統運檢，尤其涉及一種基于bigru和圖卷積網絡gcn的命名實體識別模型及方法。
技術介紹
1、命名實體識別任務(ner)是自然語言處理(nlp)領域中的一項基礎任務，其目標是從非結構化的原始文本中提取出具有實際價值的命名實體，這些命名實體可以是人名、地名、組織機構名稱等。ner在信息抽取、文本挖掘和文本理解等領域具有廣泛應用，為自動化處理大規模非結構化的電力運檢文本數據提供了重要基礎。
2、傳統的基于詞典和規則的方法在一些特定領域和小規模數據上表現較好，袁金斗等研究了基于字典和規則的命名實體識別，通過領域實體詞典、構詞特征字符規則匹配和詞性組合特征規則匹配三種方法從非結構文本中準確地提取用電安全相關實體，在小規模測試實驗中取得了優秀的表現。但其擴展性較差，難以適應電力領域內多樣化和復雜化的文本信息。而深度學習模型憑借其強大的特征提取能力，成為命名實體識別領域的主流方法。特別是bilstm-crf等模型，通過雙向長短期記憶網絡捕捉上下文信息，并結合條件隨機場提高實體識別的準確性，已在電力行業的ner任務中取得了廣泛應用。近年來，基于預訓練模型的方法為ner任務帶來了新的突破。諸如bert、ernie等模型通過在大規模數據上進行預訓練，能夠更好地理解上下文語義，并為下游任務提供更具泛化性的詞向量表示。這使得ner在電力運檢領域的應用效果顯著提升。此外，圖神經網絡(gcn)的引入，也為命名實體識別提供了新的視角。gcn能夠建模實體之間的關系，尤其在處理復雜的非結構化數據時表現出色。
3、針對
技術實現思路
1、本專利技術的目的是為了解決現有的電力運檢技術針對非結構化的電力文本在命名實體識別任務中準確率低，滿足不了電力運檢需求的技術問題，而提出了一種基于圖卷積網絡gcn和雙向門控循環單元bigru的命名實體識別技術。
2、為了解決上述技術問題，本專利技術采用的技術方案為：
3、一種用于電力運檢領域的命名實體識別模型，該模型包括編碼層、圖卷積網絡層、跨度表示層、解碼層，其中編碼層的輸入用于輸入語句，編碼層的輸出端與圖卷積網絡層的輸入端相連接，圖卷積網絡層的輸出端與跨度表示層的輸入端相連接，跨度表示層的輸出端與解碼層的輸入端相連接，解碼層的輸出端輸出電子元件類型。
4、編碼層的內部結構包括預訓練語言模型bert，雙向門控循環單元bigru；
5、其中bert的輸入用于輸入語句，bert的輸出端與bigru的輸入端相連接，bigru的輸出端輸出句子表示。
6、圖卷積網絡層的內部結構包括注意力引導層，密集連接層，線性連接組合層；
7、其中注意力引導層的輸入用于句子表示，注意力引導層的輸出與密集連接層的輸入相連接，密集連接層的輸出與線性連接層的輸入相連接，線性連接層的輸出端用于輸出融合語法信息的句子表示。
8、跨度表示層的輸入用于句子表示，跨度表示層的輸出端輸出跨度表示。
9、解碼層的內部結構包括多層感知機mlp；
10、其中mlp的輸入用于跨度表示，mlp的輸出端輸出電子元件類型。
11、所述模型在工作時，采用以下步驟：
12、步驟1：對數據進行預處理，
13、步驟2：將預處理好的數據輸入到bert中得到句子表示；
14、步驟3：將句子表示送入bigru中，進行更深層次的特征提取；
15、步驟4：將句子表示送入到圖卷積網絡中，獲取電力文本的語法信息；
16、步驟5：將獲取到的包含語法信息的句子表示進行枚舉，獲取跨度表示；
17、步驟6：將跨度表示送入mlp中進行關系分析預測，判斷實體類型，得到電力元件的類型；
18、通過以上步驟對電力運檢數據進行命名實體識別。
19、步驟1具體包括以下步驟：
20、步驟1-1：將獲取到的數據集進行預處理，去除文本中的特殊字符；使用分詞工具stanford?corenlp對文本數據進行分詞處理，并獲取分詞結果中詞對應的詞性；
21、步驟2具體包括以下子步驟：
22、步驟2-1：將預處理后的數據輸入到預訓練語言模型bert中，將文本轉換為文本編碼；
23、步驟3具體包括以下子步驟：
24、步驟3-1：將獲取到的文本編碼送入到bigru層中，獲取正向gru和反向gru對文本信息進行特征提取，獲取雙向的語義關系，過程公式如下：
25、
26、其中，wt表示t時刻輸入的詞嵌入編碼向量，指的是t-1時刻正向gru的輸入向量，指的是t-1時刻反向gru的輸入向量，z代表正向，f代表反向，表示t時刻正向gru的表示向量，表示t時刻反向gru的表示向量，h表示經過bigru網絡編碼得到的某時刻的更深層次的語義信息，最后得到最終的結果h＝{h1,h2,,,hn}，hn指的是第n個文本的表示向量，gru表示gru網絡，表示元素相加。
27、步驟4具體包括以下子步驟：
28、步驟4-1：將獲取到的語義信息送入到注意力引導層，利用旋轉編碼獲取節點的相對位置信息同時建模節點之間的依賴關系，具體計算公式如下：
29、
30、其中，wtq和wtk是用于第t個頭的查詢和鍵值的權重，是第t個頭的向量表示，是第t個頭更新的鄰接矩陣，dhead是向量維度，softmax是激活函數。
31、使用權重將第t個頭的句子表示投影到旋轉位置編碼的查詢和鍵值中對鄰接矩陣進行更新，旋轉編碼的計算公式如下：
32、
33、其中代表的是順時針旋轉iθ1的角度，而表示逆時針旋轉jθ1的角度，兩者相乘變成了逆時針旋轉(jθ1-iθ1)的角度。通過利用坐標旋轉的特性使得位置表示僅剩下旋轉差值信息，最終僅跟(iθ1-jθ1)有關，q'和k'表示初始注意力機制的查詢和鍵值，q和k是最終得到用于旋轉位置編碼的查詢和鍵值；
34、步驟4-2：將更新后的鄰接矩陣送入到密集連接層，計算公式如下：
35、
36、其中，wt和bt是第t個頭的權重和偏置，是第t個頭更新的鄰接矩陣，ht-1是t-1個頭的向量表示，是更新后的第t個頭的向量表示。
37、步驟4-3：將獲取到的向量表示送入到線性連接層，使用線性組合層將每個頭的輸出合并，即其中是權重，是第n個頭的向量表示，是圖卷積網絡最后的輸出。
38、步驟5具體包括以下子步驟：
39、步驟5-1：對獲取到的文本表示進行枚舉，得到si,j＝[hi,hj,ω]，其中hi,hj為跨度i,j的跨度表示，ω是一個20維的嵌入層用來表示跨度的長度，用si,j表示跨度i,j的跨度表示。
40、步驟6具體包括以下子步驟：
41、本文檔來自技高網...
【技術保護點】
1.一種用于電力運檢領域的命名實體識別模型，其特征在于，該模型包括編碼層(1)、圖卷積網絡層(2)、跨度表示層(3)、解碼層(4)，其中編碼層(1)的輸入用于輸入語句，編碼層(1)的輸出端與圖卷積網絡層(2)的輸入端相連接，圖卷積網絡層(2)的輸出端與跨度表示層(3)的輸入端相連接，跨度表示層(3)的輸出端與解碼層(4)的輸入端相連接，解碼層(4)的輸出端輸出電子元件類型。
2.根據權利要求1所述的模型，其特征在于，編碼層(1)的內部結構包括預訓練語言模型BERT(101)，雙向門控循環單元BiGRU(102)；
3.根據權利要求1所述的模型，其特征在于，圖卷積網絡層(2)的內部結構包括注意力引導層(201)，密集連接層(202)，線性連接組合層(203)；
4.根據權利要求1所述的模型，其特征在于，跨度表示層(3)的輸入用于句子表示，跨度表示層(3)的輸出端輸出跨度表示。
5.根據權利要求1所述的模型，其特征在于，解碼層(4)的內部結構包括多層感知機MLP；
6.根據權利要求1至5其中之一所述的模型，其特征在于，所述模
7.根據權利要求6所述的模型，其特征在于，步驟1具體包括以下步驟：
8.根據權利要求6所述的模型，其特征在于，步驟4具體包括以下子步驟：
9.根據權利要求6所述的模型，其特征在于，步驟6具體包括以下子步驟：
...【技術特征摘要】
1.一種用于電力運檢領域的命名實體識別模型，其特征在于，該模型包括編碼層(1)、圖卷積網絡層(2)、跨度表示層(3)、解碼層(4)，其中編碼層(1)的輸入用于輸入語句，編碼層(1)的輸出端與圖卷積網絡層(2)的輸入端相連接，圖卷積網絡層(2)的輸出端與跨度表示層(3)的輸入端相連接，跨度表示層(3)的輸出端與解碼層(4)的輸入端相連接，解碼層(4)的輸出端輸出電子元件類型。
2.根據權利要求1所述的模型，其特征在于，編碼層(1)的內部結構包括預訓練語言模型bert(101)，雙向門控循環單元bigru(102)；
3.根據權利要求1所述的模型，其特征在于，圖卷積網絡層(2)的內部結構包括注意力引導層(...
【專利技術屬性】
技術研發人員：李強，張云濤，范李平，黃鶯，余肖生，
申請(專利權)人：國網湖北省電力有限公司宜昌供電公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。