本申請提供一種基于多階隊列的數據采集方法、裝置及電子設備，其中，該方法包括：獲取工業控制設備產生的生產數據；根據采集頻率將生產數據分配到多階隊列的各等級隊列中，并根據各等級隊列中每一隊列的實時數據量對各等級隊列的隊列數量進行調整，其中，各等級隊列用于緩存不同采集頻率的生產數據；根據數據打包策略，對多階隊列中的生產數據進行打包，數據打包策略包括定時打包策略和定量打包策略；將打包后的生產數據上傳至工業物聯網平臺。通過多階隊列進行生產數據采集，可以有效緩解單一隊列的處理壓力，減少數據傳輸次數，降低資源消耗，從而提高數據采集的效率和可靠性。
【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種基于多階隊列的數據采集方法、裝置及電子設備。
技術介紹
1、在當前工業背景下，高速數據采集技術是智能制造的關鍵技術之一。隨著工業設備和傳感器的大規模應用，制造企業需要以高頻率收集海量的實時數據，這些數據涵蓋了溫度、壓力、振動、速度、流量等多種參數。然而，數據量的急劇增加使得傳統的數據采集方法難以應對如此大規模的高速數據流，企業在數據采集、傳輸和處理方面面臨巨大的挑戰。
2、在相關技術中，數據采集技術在應對復雜生產環境和高速數據流方面仍存在諸多不足。首先，由于生產現場環境復雜，各類設備和傳感器廣泛應用于不同的工業場景中，為了全面覆蓋低速和高速采樣場景，數據采集系統需要靈活支持不同設備的通信協議，以確保能夠靈活接入各種設備，且系統還需要具備高可用性和低延遲特性，以便及時響應生產現場的各種變化。其次，在高速采集場景下，采集頻率通常達到毫秒級甚至更低，意味著每秒鐘產生的數據量比傳統采集場景增加了數百倍乃至上千倍，這種情況下，對數據處理能力和存儲資源提出了極高的要求，傳統的數據處理手段難以滿足可靠性和高效性的要求。
3、因此，需要提出一種數據采集方案，能夠提高數據采集的效率和可靠性，且能夠適用于各種通信協議，從而全面覆蓋低速和高速采樣場景。
技術實現思路
1、為了對披露的實施例的一些方面有基本的理解，下面給出了簡單的概括。所述概括不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍，而是作為后面的詳細說明的序言。</p>2、鑒于以上所述現有技術的缺點，本專利技術公開了一種基于多階隊列的數據采集方法、裝置及電子設備，用于解決現有技術中數據采集的效率低下以及可靠性不足的技術問題。
3、第一方面，本申請提供了一種基于多階隊列的數據采集方法，所述方法包括：獲取工業控制設備產生的生產數據；根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，并根據各所述等級隊列中每一隊列的實時數據量對各所述等級隊列的隊列數量進行調整，其中，各所述等級隊列用于緩存不同采集頻率的所述生產數據；根據數據打包策略，對所述多階隊列中的所述生產數據進行打包，所述數據打包策略包括定時打包策略和定量打包策略；將打包后的所述生產數據上傳至工業物聯網平臺。
4、于本專利技術一實施例中，所述根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，包括：根據預設的頻率區間對所述生產數據進行分類，獲得至少一種頻率區間數據；根據預設的頻率區間與隊列等級之間的映射關系，將每一所述頻率區間數據分配到對應等級列表中。
5、于本專利技術一實施例中，所述根據各所述等級隊列中每一隊列的實時數據量對各所述等級隊列的隊列數量進行調整，包括：獲取每一所述等級隊列中任意隊列的所述實時數據量；將所述實時數據量分別與預設的第一數量閾值、第二數量閾值進行比較，所述第一數量閾值小于所述第二數量閾值；若所述實時數據量小于所述第一數量閾值，則將所述任意隊列回收，并設置為閑置隊列；若所述實時數據量大于所述第二數量閾值，則將所述閑置隊列設置在所述任意隊列對應的目標等級隊列中。
6、于本專利技術一實施例中，所述根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，還包括：獲取任意等級隊列中的實時數據總量與所述任意等級隊列中每一隊列的所述實時數據量；對所述實時數據量與所述實時數據總量進行計算，獲得數據量比值；根據所述數據量比值確定所述任意等級隊列中每一隊列的分配權重，所述分配權重與所述數據量比值呈反比關系；將所述任意等級隊列對應的目標頻率區間數據，分配到所述任意等級隊列中具有最大分配權重的隊列。
7、于本專利技術一實施例中，所述根據數據打包策略，對所述多階隊列中的所述生產數據進行打包，包括：響應于隊列檢測指令，根據預設的隊列刷盤時間，讀取所述多階隊列中每一隊列緩存的所述生產數據，所述隊列檢測指令中攜帶有打包線程的線程等待時間；分別對所述多階隊列中每一隊列所讀取的所述生產數據進行打包。
8、于本專利技術一實施例中，所述根據數據打包策略，對所述多階隊列中的所述生產數據進行打包，還包括：響應于隊列檢測指令，獲取所述多階隊列中每一隊列的所述實時數據量，所述隊列檢測指令中攜帶有打包線程的線程等待時間；判斷所述實時數據量是否達到預設的第三數量閾值；將所述實時數據量達到所述第三數量閾值的隊列確定為目標隊列；對所述目標隊列中的所述生產數據進行打包。
9、于本專利技術一實施例中，在所述獲取工業控制設備產生的生產數據之前，還包括：配置工業通信協議，所述工業通信協議包括各種工業控制設備配用的通信協議，所述各種工業控制設備的設備標識與所述工業通信協議中所配用的通信協議綁定；根據所述工業控制設備的目標設備標識，從所述工業通信協議中匹配出所述工業控制設備對應的目標通信協議；根據所述目標通信協議與所述工業控制設備建立通信連接。
10、于本專利技術一實施例中，在所述將打包后的所述生產數據上傳至工業物聯網平臺之前，還包括：獲取打包后的所述生產數據的數據長度；將所述數據長度與預設的長度閾值進行比較，所述長度閾值表征所述工業物聯網平臺接收數據的長度限制；若所述數據長度大于所述長度閾值，則根據所述長度閾值對打包后的所述生產數據進行切分。
11、第二方面，本申請提供了一種基于多階隊列的數據采集裝置，所述裝置包括：數據獲取模塊，用于獲取工業控制設備產生的生產數據；隊列資源劃分模塊，用于根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，并根據各所述等級隊列中每一隊列的實時數據量對各所述等級隊列的隊列數量進行調整，其中，各所述等級隊列用于緩存不同采集頻率的所述生產數據；數據打包模塊，用于根據數據打包策略，對所述多階隊列中的所述生產數據進行打包，所述數據打包策略包括定時打包策略和定量打包策略；數據上傳模塊，用于將打包后的所述生產數據上傳至工業物聯網平臺。
12、第三方面，一種電子設備，其特征在于，所述電子設備包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述電子設備實現如第一方面描述的基于多階隊列的數據采集方法。
13、如上所述，本專利技術實施例提供的一種基于多階隊列的數據采集方法、裝置及電子設備，具有以下有益效果：
14、首先獲取工業控制設備產生的生產數據，接著根據采集頻率將生產數據分配到多階隊列的各等級隊列中，并根據各等級隊列中每一隊列的實時數據量對各等級隊列的隊列數量進行調整，各等級隊列用于緩存不同采集頻率的生產數據，然后根據數據打包策略，對多階隊列中的生產數據進行打包，該數據打包策略包括定時打包策略和定量打包策略，最后將打包后的生產數據上傳至工業物聯網平臺；
15、(1)采集頻率顯著提升，通過引入多階隊列架構與智能負載均衡技術，極大地提升了數據采集的實時性和頻率，滿足了對時間敏感型數據的高效捕捉需求；
16、(2)資源利用率與采集穩定性雙重增強，采用多階隊列與動態資源調本文檔來自技高網
...
【技術保護點】
1.一種基于多階隊列的數據采集方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于多階隊列的數據采集方法，其特征在于，所述根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，包括：
3.根據權利要求2所述的基于多階隊列的數據采集方法，其特征在于，所述根據各所述等級隊列中每一隊列的實時數據量對各所述等級隊列的隊列數量進行調整，包括：
4.根據權利要求2所述的基于多階隊列的數據采集方法，其特征在于，所述根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，還包括：
5.根據權利要求1所述的基于多階隊列的數據采集方法，其特征在于，所述根據數據打包策略，對所述多階隊列中的所述生產數據進行打包，包括：
6.根據權利要求1所述的基于多階隊列的數據采集方法，其特征在于，所述根據數據打包策略，對所述多階隊列中的所述生產數據進行打包，還包括：
7.根據權利要求1至6任一項所述的基于多階隊列的數據采集方法，其特征在于，在所述獲取工業控制設備產生的生產數據之前，還包括：
8.根據權利要求7所述的基于多階隊列的數據采集方法，其特征在于，在所述將打包后的所述生產數據上傳至工業物聯網平臺之前，還包括：
9.一種基于多階隊列的數據采集裝置，其特征在于，所述裝置包括：
10.一種電子設備，其特征在于，所述電子設備包括：
...
【技術特征摘要】
1.一種基于多階隊列的數據采集方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于多階隊列的數據采集方法，其特征在于，所述根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，包括：
3.根據權利要求2所述的基于多階隊列的數據采集方法，其特征在于，所述根據各所述等級隊列中每一隊列的實時數據量對各所述等級隊列的隊列數量進行調整，包括：
4.根據權利要求2所述的基于多階隊列的數據采集方法，其特征在于，所述根據采集頻率將所述生產數據分配到多階隊列的各等級隊列中，還包括：
5.根據權利要求1所述的基于多階隊列的數據采集方法，其特征在于，所述根據數據打包策略...
【專利技術屬性】
技術研發人員：張宇，單鳳池，那蓉萃，徐燦，趙龍，
申請(專利權)人：中冶賽迪信息技術重慶有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。