基于深度強化學習和提升供熱系統靈活性的優化調度方法技術方案

5、s2、分析荷側柔性熱負荷用戶接入供熱系統時，對系統運行調度造成的第二靈活性影響，包括柔性熱負荷對供需平衡的影響、柔性熱負荷接入對熱負荷需求預測影響、以及源荷出力和荷側需求之間的不匹配性對可再生能源利用的影響；

6、s3、分析擾動隨機因素對供熱系統運行調度造成的第三靈活性影響，包括不可控外部極端天氣影響、熱網故障造成管網拓撲結構變化影響和設備運行狀態影響；

7、s4、分析網側節點規模擴大和源側熱源接入量增加、荷側熱用戶接入量增加對供熱系統運行調度造成的第四靈活性影響；

8、s5、對供熱系統運行調度造成的第一靈活性影響、第二靈活性影響、第三靈活性影響和第四靈活性影響所涉及的高維不確定性特征進行收集和編碼提取；

9、s6、將提升供熱系統靈活性的優化調度模型問題定義為：在考慮供熱系統熱負荷供需平衡約束、源側供熱機組出力約束、爬坡約束、柔性熱負荷調節能力約束，以及管網運行約束條件下，以實現供熱系統總成本最小為目標，控制調節多時間尺度下源側常規供熱機組和可再生能源出力、管網結構布局和柔性熱負荷調節量，應對源網荷側和擾動隨機因素造成的影響；

10、s7、將提升供熱系統靈活性的優化調度模型問題轉化為馬爾科夫決策過程，嵌入編碼提取的高維特征和設計智能體觀察到所在環境的狀態集合、對環境施加影響的動作集合、對環境執行動作后獲得的收益集合，通過深度強化學習算法進行調度模型的訓練優化，輸出最優調度決策。

11、進一步，所述s1具體包括：

12、分析源側包括太陽能供熱機組、風能供熱機組的可再生能源供熱機組接入供熱系統時，在系統調度運行過程中，源側調度對象由原有出力可控的非可再生能源供熱機組轉變為源側隨機性、不確定性增強的非可再生能源供熱機組和可再生能源供熱機組的混合供熱系統；

13、其中，受到天氣、季節和地理位置的影響，可再生能源供熱機組出力表現為不確定性，在出力不足的情況下，造成用戶供熱量不足，而在出力過剩的情況下，造成資源浪費，導致供需不平衡；

14、可再生能源供熱機組接入供熱系統的成本高于非可再生能源的接入成本，以及由于可再生能源供熱機組的分布特征，增加了熱量傳輸成本、設備運行維護成本；為彌補可再生能源出力的不確定性，在滿足安全運行約束條件下，增加供需平衡成本和備用機組成本。

15、進一步，所述s2具體包括：

16、分析荷側柔性熱負荷用戶接入供熱系統時，柔性熱負荷用戶根據自身需求和熱負荷調節能力，調整自身的熱負荷；在高峰時段，柔性熱負荷用戶通過減少自身熱負荷，降低供熱系統負荷峰值，避免或減少因負荷過大而導致的系統崩潰或性能下降；合理調度柔性熱負荷用戶，供熱系統靈活調整供需平衡；

17、獲取柔性熱負荷用戶的用熱數據和行為模型，以及隨著柔性熱負荷用戶數量的增加，對熱負荷需求預測模型進行優化調整；

18、調度柔性熱負荷用戶，減少源荷出力不匹配造成的可再生能源浪費，以及柔性熱負荷作為緩沖器，在可再生能源出力波動或荷側需求變化時，調整自身負荷平衡系統運行，提高可再生能源的利用效率。

19、進一步，所述s3具體包括：

20、分析出現外部氣溫急劇變化、惡劣天氣時，影響荷側用戶的熱需求和源側供熱機組的供熱設計能力，導致供需平衡，以及造成供熱管道損壞、破裂、泄漏；

21、分析熱網管道損壞、破裂、泄漏故障時，造成熱量損失、供熱中斷，改變熱網供熱路徑和管網拓撲結構，影響水泵、閥門、供熱機組、熱力站的設備運行狀態和運行參數。

22、進一步，所述s4具體包括：

23、分析網側節點規模擴大，造成供熱系統的網絡結構和拓撲復雜性增加；

24、分析源側熱源接入量增加、荷側熱用戶接入量增加，造成系統運行調度靈活性、復雜性增加，供需不匹配概率增加。

25、進一步，所述分析源側可再生能源接入供熱系統時，對系統運行調度造成的第一靈活性影響時，還包括建立可再生能源供熱機組的出力預測模型，具體過程為：

26、獲取真實的歷史可再生能源供熱機組出力數據，包括環境參數、機組運行狀態、時間序列數據，并初始化生成對抗網絡中生成器和判別器的參數；

27、固定判別器，訓練生成器：生成器將隨機噪聲作為輸入，生成接近真實數據的合成數據，判別器進行數據真實性分值判斷；所述生成器的目標是欺騙判別器，使其無法準確判斷數據的真實性；所述生成器的參數通過反向傳播算法進行更新；

28、固定生成器，訓練判別器：在生成器訓練完成后，固定生成器的參數，訓練判別器；所述判別器的目標是判斷輸入數據是真實的還是生成的；所述判別器的參數通過反向傳播算法進行更新；

29、通過循環訓練直到生成器能夠生成接近真實數據的合成數據，判別器無法判斷數據的真實性；

30、訓練完成后通過生成器生成虛擬的新能源供熱機組出力數據，與真實的歷史可再生能源供熱機組出力數據進行數據融合后來訓練循環神經網絡rnn，建立可再生能源供熱機組的出力預測模型。

31、進一步，所述分析荷側柔性熱負荷用戶接入供熱系統時，對系統運行調度造成的第二靈活性影響時，還包括建立用戶熱負荷預測模型，具體過程為：

32、獲取包含柔性熱負荷用戶原始負荷信號后，采用eemd算法分解成高頻熱負荷分量、低頻熱負荷分量和殘差分量；

33、對于高頻熱負荷分量采用xgboost算法進行本文檔來自技高網...

【技術保護點】

1.一種基于深度強化學習和提升供熱系統靈活性的優化調度方法，其特征在于，包括：

2.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述S1具體包括：

3.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述S2具體包括：

4.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述S3具體包括：

5.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述S4具體包括：

6.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述分析源側可再生能源接入供熱系統時，對系統運行調度造成的第一靈活性影響時，還包括建立可再生能源供熱機組的出力預測模型，具體過程為：

7.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述分析荷側柔性熱負荷用戶接入供熱系統時，對系統運行調度造成的第二靈活性影響時，還包括建立用戶熱負荷預測模型，具體過程為：

8.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述S5具體包括：

9.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述S7中，所述設計智能體觀察到所在環境的狀態集合包括：當前的熱負荷需求、可再生能源供熱機組情況、常規供熱機組的狀態、管網運行狀態、管網拓撲結構和接入量規模；

10.根據權利要求1所述的提升供熱系統靈活性的優化調度方法，其特征在于，所述源側可再生能源供熱機組和荷側熱負荷之間的供需靈活性表示為：