基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法技術

本發明專利技術公開了一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，包括：建立不同狀態之間的轉移關系的輸變電設備狀態轉移關系圖；根據輸變電設備狀態轉移關系圖建立輸變電設備狀態檢修模型；利用馬爾可夫過程求解輸變電設備不同狀態的穩態概率；建立檢修策略以及檢修策略對應的報酬之間的函數關系式；以在檢修策略下使得報酬序列的某個函數值最大為序列決策問題的目標建立基于馬爾可夫的輸變電設備檢修決策模型；根據輸變電設備不同狀態的穩態概率，采用策略迭代法求解最優的檢修決策。本發明專利技術有益效果：應用馬爾可夫決策可以折中維修成本和故障損失，得到經濟最優的檢修決策，為檢修決策人員提供參考。

【技術實現步驟摘要】

本專利技術屬于高壓電力設備狀態監測與故障預測
，尤其涉及一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法。
技術介紹
輸變電設備的安全是電網系統穩定運行的基礎。設備的可靠性會隨其運行時間變長而逐漸惡化。對電氣設備進行科學合理的檢修安排可以節約檢修費用并保證系統運行的安全性和可靠性。因此檢修策略的制定已成為電力行業關注的重要課題。狀態檢修是一種區別于傳統的事故后檢修和定期預防性檢修的新的檢修方式，是以設備狀態為基礎、以預測狀態發展趨勢為依據的設備檢修方式。有效避免了傳統檢修中過度維修和維修不足，提高了電網運行的經濟性和安全性。迄今為止，如何根據設備狀態,選取不同的檢修策略,達到可靠性和經濟性之間的平衡，其決策在很大程度上還是依賴決策人員的經驗積累,并沒有一種定量的分析方法幫助檢修決策人員做出正確的選擇。輸變電設備的老化過程是一個隨機過程，應用概率論和隨機過程理論考慮設備狀態量的統計特性,更加符合設備老化的實際情況。馬爾可夫決策過程可作為研究隨機環境下多階段決策過程優化問題的理論工具。其特點是所做的決策只依賴于當前的系統狀態和選取的行動，與過去的歷史無關。馬爾可夫過程已被廣泛應用于設備狀態評估，為檢修人員提供了一定的理論支持和決策輔助。現有技術中運用基于改進的檢修模型的馬爾可夫決策來計算最優檢修決策，但是檢修模型沒有包含檢查狀態，只考慮了最小維修方式，沒有區分設備的大修和小修。現有技術中研究了檢查和維修延時時間對設備老化的影響，通過對檢修計劃的推遲給予運行人員更高的靈活度，但是模型包含的狀態過多，難以求解。
技術實現思路
本專利技術的目的就是為了解決上述問題，提出了一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，該方法考慮不同維修方式對狀態轉移的影響，根據是否安裝有在線監測裝置建立了適用于兩種輸變電設備的馬爾可夫檢修決策模型：狀態檢修模型(CBM模型)和基于檢查的檢修模型(IBM模型)。為實現上述目的，本專利技術的具體方案如下：基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，包括：(1)設定輸變電設備的狀態形式，建立不同狀態之間的轉移關系的輸變電設備狀態轉移關系圖；(2)根據輸變電設備狀態轉移關系圖建立輸變電設備狀態檢修模型；(3)利用馬爾可夫過程求解輸變電設備不同狀態的穩態概率；(4)建立檢修策略以及檢修策略對應的報酬之間的函數關系式；以在檢修策略π下使得報酬序列ν的某個函數值最大為序列決策問題的目標建立基于馬爾可夫的輸變電設備檢修決策模型；(5)根據輸變電設備不同狀態的穩態概率，采用策略迭代法求解最優的檢修決策。進一步地，所述步驟(1)中，如果輸變電設備安裝了在線監測裝置，則建立CBM模型；該模型下輸變電設備的狀態形式包括：老化狀態D，檢查狀態I、檢修狀態M和故障狀態F；其中，老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2和異常狀態D3；檢修狀態分為小修和大修；從老化狀態Di到老化狀態Di+1的平均時間觀測值的倒數定義為從老化狀態Di到老化狀態Di+1的狀態轉移率λi；狀態Di的兩次檢查平均間隔時間的倒數定義為狀態Di的檢查率γi；檢查狀態持續時間的倒數定義為狀態轉移率δ；維修狀態持續時間的倒數定義為狀態轉移率μ。進一步地，輸變電設備狀態轉移關系具體為：老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2和異常狀態D3；每一種老化狀態對應的檢查狀態分別為I1、I2和I3，在檢查狀態下決策人員收集設備信息進而得知設備處于哪一個老化狀態；在注意狀態D2下，對應的檢修狀態分別為小修M2和大修MM2；在異常狀態D3下，對應的檢修狀態分別為小修M3和大修MM3。進一步地，狀態D1的檢查率為γ1，狀態D2的檢查率為γ2，狀態D3的檢查率為γ3，狀態D1、狀態D2和狀態D3對應的檢查狀態I1、I2和I3的狀態轉移率均為δ。進一步地，所述步驟(1)中，如果輸變電設備沒有安裝在線監測裝置，則建立IBM模型；該模型下輸變電設備的狀態形式包括：老化狀態D，檢查狀態I、檢修狀態M和故障狀態F；其中，老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2,1、D2,2和異常狀態D3,1、D3,2和D3,3；檢修狀態分為小修和大修；從老化狀態Di到老化狀態Di+1的平均時間觀測值的倒數定義為從老化狀態Di到老化狀態Di+1的狀態轉移率λi；狀態Di的兩次檢查平均間隔時間的倒數定義為狀態Di的檢查率γi；檢查狀態持續時間的倒數定義為狀態轉移率δ；維修狀態持續時間的倒數定義為狀態轉移率μ。進一步地，輸變電設備狀態轉移關系具體為：老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2,1、D2,2和異常狀態D3,1、D3,2和D3,3；每一種老化狀態對應的檢查狀態分別為I1、I2和I3，在檢查狀態下決策人員收集設備信息進而得知設備處于哪一個老化狀態；在注意狀態D2下，對應的檢修狀態分別為小修M2和大修MM2；在異常狀態D3下，對應的檢修狀態分別為小修M3和大修MM3。進一步地，狀態D1的檢查率為γ1，狀態D2,1的檢查率為γ1，狀態D2,2的檢查率為γ2；狀態D3,1的檢查率為γ1，狀態D3,2的檢查率為γ2；狀態D33的檢查率為γ3；狀態D1、狀態D2,1、D2,2和狀態D3,1、D3,2、D3,3對應的檢查狀態I1、I2和I3的狀態轉移率均為δ。進一步地，所述步驟(4)中，基于馬爾可夫的輸變電設備檢修決策模型用一個包含五個元素的元組<T,S,A,p,r>來描述，其中：1)T為所有決策時刻的點集，即選取行動的時間點被稱為決策時刻，為有限點集或可列無限點集；對于離散模型，兩個相鄰的決策時刻被稱為決策周期或者階段；2)S是系統所有可能的狀態所組成的非空的可數狀態集，也稱為狀態空間；3)A為對應i∈S在該狀態可采用的行動集合，每個狀態都存在著有限集；4)p表示系統動態的狀態轉移特性；p(sn+1|sn,an)表示當系統處于狀態sn，并采取行動an∈A時，系統在狀態轉移后處于狀態sn+1的概率；5)r表示期望報酬，系統在狀態sn采取了行動an∈A所獲得的期望報酬記為r(sn,an)。進一步地，所述步驟(4)中，引入折扣率β∈(0,1)來表示未來時刻的報酬在當前時刻的價值；則系統從狀態sn出發的折扣期望報酬為：其中，ν(sn,π)為檢修策略π對應著的報酬序列；p(sn+1|sn,π)為當系統處于狀態sn，并采取檢修策略π時，系統在狀態轉移后處于狀態sn+1的概率。進一步地，所述步驟(5)中，采用策略迭代法求解最優的檢修決策具體方法為：步驟一：取初值，設迭代步數n＝0，任取一種初始檢修策略π∈Π；步驟二：檢修策略求值，解方程：(I-βP(πn))ν＝r(πn)；其中，I為單位矩陣，P(πn)為轉移概率矩陣；r(πn)為報酬矩陣；β為折扣率；ν為期望報酬值；得到當前策略的期望報酬值Vβ(πn)；步驟三：檢修策略的改進，選取πn+1為一個Vβ(πn)的改進規則，即滿足：步驟四：如果πn+1＝πn，停止，此時，πn+1＝πn為最優檢修策略，Vβ(πn+1)＝Vβ(πn)為最優期望報酬；否則令n＝n+1，返回到步驟二。本專利技術的有益效果：本專利技術應用策略迭代法求解馬爾可夫決策檢修模型得本文檔來自技高網...

【技術保護點】
基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，包括：(1)設定輸變電設備的狀態形式，建立不同狀態之間的轉移關系的輸變電設備狀態轉移關系圖；(2)根據輸變電設備狀態轉移關系圖建立輸變電設備狀態檢修模型；(3)利用馬爾可夫過程求解輸變電設備不同狀態的穩態概率；(4)建立檢修策略以及檢修策略對應的報酬之間的函數關系式；以在檢修策略π下使得報酬序列ν的某個函數值最大為序列決策問題的目標建立基于馬爾可夫的輸變電設備檢修決策模型；(5)根據輸變電設備不同狀態的穩態概率，采用策略迭代法求解最優的檢修決策。

【技術特征摘要】
1.基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，包括：(1)設定輸變電設備的狀態形式，建立不同狀態之間的轉移關系的輸變電設備狀態轉移關系圖；(2)根據輸變電設備狀態轉移關系圖建立輸變電設備狀態檢修模型；(3)利用馬爾可夫過程求解輸變電設備不同狀態的穩態概率；(4)建立檢修策略以及檢修策略對應的報酬之間的函數關系式；以在檢修策略π下使得報酬序列ν的某個函數值最大為序列決策問題的目標建立基于馬爾可夫的輸變電設備檢修決策模型；(5)根據輸變電設備不同狀態的穩態概率，采用策略迭代法求解最優的檢修決策。2.如權利要求1所述的一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，所述步驟(1)中，如果輸變電設備安裝了在線監測裝置，則建立CBM模型；該模型下輸變電設備的狀態形式包括：老化狀態D，檢查狀態I、檢修狀態M和故障狀態F；其中，老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2和異常狀態D3；檢修狀態分為小修和大修；從老化狀態Di到老化狀態Di+1的平均時間觀測值的倒數定義為從老化狀態Di到老化狀態Di+1的狀態轉移率λi；狀態Di的兩次檢查平均間隔時間的倒數定義為狀態Di的檢查率γi；檢查狀態持續時間的倒數定義為狀態轉移率δ；維修狀態持續時間的倒數定義為狀態轉移率μ。3.如權利要求2所述的一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，輸變電設備狀態轉移關系具體為：老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2和異常狀態D3；每一種老化狀態對應的檢查狀態分別為I1、I2和I3，在檢查狀態下決策人員收集設備信息進而得知設備處于哪一個老化狀態；在注意狀態D2下，對應的檢修狀態分別為小修M2和大修MM2；在異常狀態D3下，對應的檢修狀態分別為小修M3和大修MM3。4.如權利要求3所述的一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，狀態D1的檢查率為γ1，狀態D2的檢查率為γ2，狀態D3的檢查率為γ3，狀態D1、狀態D2和狀態D3對應的檢查狀態I1、I2和I3的狀態轉移率均為δ。5.如權利要求1所述的一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，所述步驟(1)中，如果輸變電設備沒有安裝在線監測裝置，則建立IBM模型；該模型下輸變電設備的狀態形式包括：老化狀態D，檢查狀態I、檢修狀態M和故障狀態F；其中，老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2,1、D2,2和異常狀態D3,1、D3,2和D3,3；檢修狀態分為小修和大修；從老化狀態Di到老化狀態Di+1的平均時間觀測值的倒數定義為從老化狀態Di到老化狀態Di+1的狀態轉移率λi；狀態Di的兩次檢查平均間隔時間的倒數定義為狀態Di的檢查率γi；檢查狀態持續時間的倒數定義為狀態轉移率δ；維修狀態持續時間的倒數定義為狀態轉移率μ。6.如權利要求5所述的一種基于馬爾可夫決策過程的輸變電設備最佳檢修決策方法，其特征是，輸變電設備狀態轉移關系具體為：老化狀態D按照老化嚴重程度依次劃分為正常狀態D1、注意狀態D2,1、D2,2和...

【專利技術屬性】
技術研發人員：楊祎，張方正，李紅梅，田兵，李勇，杜修明，郭志紅，陳玉峰，盛戈皞，辜超，周加斌，鄭建，馬艷，林穎，李程啟，耿玉杰，白德盟，朱文兵，李秀衛，侯慧娟，賈京葦，李明，彭飛，朱慶東，師偉，李娜，
申請(專利權)人：國網山東省電力公司電力科學研究院，上海交通大學，國網山東省電力公司，國家電網公司，
類型：發明
國別省市：山東;37