用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法技術(shù)方案

本發(fā)明專利技術(shù)公開了用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，屬歷史數(shù)據(jù)庫領(lǐng)域。包括數(shù)據(jù)庫結(jié)構(gòu)定義和數(shù)據(jù)庫算法，所述數(shù)據(jù)庫結(jié)構(gòu)定義包括數(shù)據(jù)文件格式定義、文件信息結(jié)構(gòu)格式定義、數(shù)據(jù)段結(jié)構(gòu)定義、采樣數(shù)據(jù)結(jié)構(gòu)定義，經(jīng)過兩次的數(shù)據(jù)過濾，依然保留下來的數(shù)據(jù)，就需要寫入到數(shù)據(jù)庫中，數(shù)據(jù)段采用固定塊大小，是在保證一定的數(shù)據(jù)存儲量的同時，能夠?qū)崿F(xiàn)快速的數(shù)據(jù)定位，整段數(shù)據(jù)加載至內(nèi)存中，能夠?qū)?shù)據(jù)進(jìn)行快速處理。本發(fā)明專利技術(shù)結(jié)合了嵌入式監(jiān)控應(yīng)用的特性，對普通的歷史文件算法進(jìn)行了改進(jìn)，達(dá)到數(shù)據(jù)處理快速且文件尺寸較小的要求。為了防止歷史文件過于碎片化，采用一個月為一個單位，進(jìn)行存儲。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及歷史數(shù)據(jù)庫領(lǐng)域，具體地說，是用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法。
技術(shù)介紹
文件型實(shí)時歷史數(shù)據(jù)庫是嵌入式監(jiān)控應(yīng)用程序中不可缺少的一部分。文件歷史數(shù)據(jù)庫就是將采集到的數(shù)據(jù)變化過程記錄下來，用來分析數(shù)據(jù)的變化過程及作為數(shù)據(jù)資料進(jìn)行存檔。由于主要應(yīng)用于嵌入式系統(tǒng)中，嵌入式系統(tǒng)中的各種資源都是相對有限的，這就要求文件尺寸要盡可能的小。另外由于是應(yīng)用于實(shí)時監(jiān)控，處理數(shù)據(jù)時要盡可能的快速。以往的歷史文件算法往往處理速度偏慢，且文件尺寸較大，很難長期穩(wěn)定的應(yīng)用于嵌入式應(yīng)用的工作環(huán)境中。由于歷史數(shù)據(jù)庫是對數(shù)據(jù)變化過程的記錄，就要求數(shù)據(jù)的時效及數(shù)據(jù)的真實(shí)性，基于這些特性，歷史數(shù)據(jù)庫僅提供數(shù)據(jù)插入及數(shù)據(jù)查詢操作，以防止過程數(shù)據(jù)被篡改。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)提供了用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，結(jié)合了嵌入式監(jiān)控應(yīng)用的特性，對普通的歷史文件算法進(jìn)行了改進(jìn)，達(dá)到數(shù)據(jù)處理快速且文件尺寸較小的要求。為了防止歷史文件過于碎片化，采用一個月為一個單位，進(jìn)行存儲。本專利技術(shù)涉及用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，包括數(shù)據(jù)庫結(jié)構(gòu)定義和數(shù)據(jù)庫算法，其特征在于，所述數(shù)據(jù)庫結(jié)構(gòu)定義包括數(shù)據(jù)文件格式定義、文件信息結(jié)構(gòu)格式定義、數(shù)據(jù)段結(jié)構(gòu)定義、采樣數(shù)據(jù)結(jié)構(gòu)定義，所述數(shù)據(jù)文件格式定義如下：文字信息占20字節(jié)和n個數(shù)據(jù)段，每一個數(shù)據(jù)段占1024字節(jié)；所述文件信息結(jié)構(gòu)格式定義如下：版本信息占4字節(jié)、創(chuàng)建時間占8字節(jié)、信息預(yù)留占8字節(jié)，所述創(chuàng)建時間為1970年1月1日到創(chuàng)建時間的毫秒數(shù)；所述數(shù)據(jù)段結(jié)構(gòu)定義如下：采集數(shù)據(jù)點(diǎn)標(biāo)識的Id占4字節(jié)、段有效長度占2字節(jié)、段實(shí)際長度占2字節(jié)、前趨段地址占2字節(jié)、后續(xù)段地址占2字節(jié)、起始時間占4字節(jié)、截止時間占4字節(jié)、變化閾值占4字節(jié)、采樣數(shù)據(jù)占n字節(jié)，其中6≤n≤16；所述段有效長度為有效數(shù)據(jù)的長度；所述段實(shí)際長度在默認(rèn)情況下與與有效長度相等，但是當(dāng)過程數(shù)據(jù)有修改時則不一致；所述前趨段地址表示上一個Id的采樣數(shù)據(jù)點(diǎn)的存儲段地址；所述后續(xù)段地址表示下一個Id的采集數(shù)據(jù)點(diǎn)的存儲段地址；所述起始時間為存儲段的采樣數(shù)據(jù)起始時間；所述截止時間為存儲段采樣數(shù)據(jù)截止時間，所述起始時間與所述截止時間均是相對于文件創(chuàng)建時間的毫秒數(shù)來計算；如果新添加的數(shù)據(jù)變化大于所述變化閾值則記錄，否則拋棄。所述采樣數(shù)據(jù)結(jié)構(gòu)定義包括采樣數(shù)據(jù)頭和采樣數(shù)據(jù)兩部分，采樣數(shù)據(jù)結(jié)構(gòu)根據(jù)采樣數(shù)據(jù)頭結(jié)構(gòu)定義，采樣數(shù)據(jù)頭結(jié)構(gòu)定義如下：采樣時間標(biāo)簽占2字節(jié)、采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽占1字節(jié)；采樣數(shù)據(jù)結(jié)構(gòu)定義如下：采樣數(shù)據(jù)頭占3字節(jié)、時間標(biāo)簽占4或0字節(jié)、采樣值占1～8字節(jié)，所述采樣時間標(biāo)簽為超過上一個采樣數(shù)據(jù)的采樣時間的毫秒數(shù)，如果沒有上一個采樣數(shù)據(jù)，則表示超過該數(shù)據(jù)段的起始時間的毫秒數(shù)；所述采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽包括采樣數(shù)據(jù)類型標(biāo)簽和采樣數(shù)據(jù)的質(zhì)量標(biāo)簽，采樣數(shù)據(jù)類型標(biāo)簽的采樣值占1～4字節(jié)，采樣數(shù)據(jù)的質(zhì)量標(biāo)簽的采樣值占5～8字節(jié)，所述采樣數(shù)據(jù)的時間標(biāo)簽根據(jù)采樣數(shù)據(jù)頭來決定是否占字節(jié)，所述采樣值根據(jù)采樣數(shù)據(jù)頭中的數(shù)據(jù)類型來決定采樣值所占字節(jié)數(shù)。其數(shù)據(jù)存儲方法如下：(1)查詢新插入數(shù)據(jù)點(diǎn)是否已經(jīng)存在于數(shù)據(jù)庫中，如果未存在則創(chuàng)建新的數(shù)據(jù)段，并將數(shù)據(jù)直接寫入，寫入過程結(jié)束；(2)如果已經(jīng)存在于數(shù)據(jù)庫中則進(jìn)行后續(xù)判斷,首先判斷數(shù)據(jù)變化是否超出變化閾值，如果未超出則直接將數(shù)據(jù)丟棄，寫入過程結(jié)束；(3)如果變化超出了變化閾值，則采用旋轉(zhuǎn)門算法進(jìn)一步對數(shù)據(jù)進(jìn)行過濾，(4)經(jīng)過兩次的數(shù)據(jù)過濾，依然保留下來的數(shù)據(jù)，就需要寫入到數(shù)據(jù)庫中，數(shù)據(jù)段采用固定塊大小，是在保證一定的數(shù)據(jù)存儲量的同時，能夠?qū)崿F(xiàn)快速的數(shù)據(jù)定位，整段數(shù)據(jù)加載至內(nèi)存中，能夠?qū)?shù)據(jù)進(jìn)行快速處理。進(jìn)一步地，所述起始時間、截止時間均采用相對于文件創(chuàng)建時間的毫秒數(shù)來計時，長度各為4個字節(jié)的無符號整型數(shù)據(jù)，最長能夠表示4294967295毫秒，即49天，能夠在存儲尺寸較小的情況下保證數(shù)據(jù)文件記錄一個月的時間范圍。與現(xiàn)有技術(shù)相比，本專利技術(shù)的積極效果是：1.本專利技術(shù)結(jié)合了嵌入式監(jiān)控應(yīng)用的特性，對普通的歷史文件算法進(jìn)行了改進(jìn)，達(dá)到數(shù)據(jù)處理快速且文件尺寸較小的要求。為了防止歷史文件過于碎片化，采用一個月為一個單位，進(jìn)行存儲。附圖說明圖1是本專利技術(shù)的數(shù)據(jù)存儲流程圖具體實(shí)施方式本專利技術(shù)提供用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，為使本專利技術(shù)的目的、技術(shù)方案及效果更佳清楚、明確，以下結(jié)合附圖對本專利技術(shù)進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本專利技術(shù)，并不用與限定本專利技術(shù)。本專利技術(shù)本專利技術(shù)涉及用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，包括數(shù)據(jù)庫結(jié)構(gòu)定義和數(shù)據(jù)庫算法，其特征在于，所述數(shù)據(jù)庫結(jié)構(gòu)定義包括數(shù)據(jù)文件格式定義、文件信息結(jié)構(gòu)格式定義、數(shù)據(jù)段結(jié)構(gòu)定義、采樣數(shù)據(jù)結(jié)構(gòu)定義，所述數(shù)據(jù)文件格式定義如下：文字信息占20字節(jié)和n個數(shù)據(jù)段，每一個數(shù)據(jù)段占1024字節(jié)；所述文件信息結(jié)構(gòu)格式定義如下：版本信息占4字節(jié)、創(chuàng)建時間占8字節(jié)、信息預(yù)留占8字節(jié)，所述創(chuàng)建時間為1970年1月1日到創(chuàng)建時間的毫秒數(shù)；所述數(shù)據(jù)段結(jié)構(gòu)定義如下：采集數(shù)據(jù)點(diǎn)標(biāo)識的Id占4字節(jié)、段有效長度占2字節(jié)、段實(shí)際長度占2字節(jié)、前趨段地址占2字節(jié)、后續(xù)段地址占2字節(jié)、起始時間占4字節(jié)、截止時間占4字節(jié)、變化閾值占4字節(jié)、采樣數(shù)據(jù)占n字節(jié)，其中6≤n≤16；所述段有效長度為有效數(shù)據(jù)的長度；所述段實(shí)際長度在默認(rèn)情況下與與有效長度相等，但是當(dāng)過程數(shù)據(jù)有修改時則不一致；所述前趨段地址表示上一個Id的采樣數(shù)據(jù)點(diǎn)的存儲段地址；所述后續(xù)段地址表示下一個Id的采集數(shù)據(jù)點(diǎn)的存儲段地址；所述起始時間為存儲段的采樣數(shù)據(jù)起始時間；所述截止時間為存儲段采樣數(shù)據(jù)截止時間，所述起始時間與所述截止時間均是相對于文件創(chuàng)建時間的毫秒數(shù)來計算；如果新添加的數(shù)據(jù)變化大于所述變化閾值則記錄，否則拋棄。所述采樣數(shù)據(jù)結(jié)構(gòu)定義包括采樣數(shù)據(jù)頭和采樣數(shù)據(jù)兩部分，采樣數(shù)據(jù)結(jié)構(gòu)根據(jù)采樣數(shù)據(jù)頭結(jié)構(gòu)定義，采樣數(shù)據(jù)頭結(jié)構(gòu)定義如下：采樣時間標(biāo)簽占2字節(jié)、采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽占1字節(jié)；采樣數(shù)據(jù)結(jié)構(gòu)定義如下：采樣數(shù)據(jù)頭占3字節(jié)、時間標(biāo)簽占4或0字節(jié)、采樣值占1～8字節(jié)，所述采樣時間標(biāo)簽為超過上一個采樣數(shù)據(jù)的采樣時間的毫秒數(shù)，如果沒有上一個采樣數(shù)據(jù)，則表示超過該數(shù)據(jù)段的起始時間的毫秒數(shù)；所述采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽包括采樣數(shù)據(jù)類型標(biāo)簽和采樣數(shù)據(jù)的質(zhì)量標(biāo)簽，采樣數(shù)據(jù)類型標(biāo)簽的采樣值占1～4字節(jié)，采樣數(shù)據(jù)的質(zhì)量標(biāo)簽的采樣值占5～8字節(jié)，所述采樣數(shù)據(jù)的時間標(biāo)簽根據(jù)采樣數(shù)據(jù)頭來決定是否占字節(jié)，所述采樣值根據(jù)采樣數(shù)據(jù)頭中的數(shù)據(jù)類型來決定采樣值所占字節(jié)數(shù)。如圖1所示，其數(shù)據(jù)存儲方法如下：(1)查詢新插入數(shù)據(jù)點(diǎn)是否已經(jīng)存在于數(shù)據(jù)庫中，如果未存在則創(chuàng)建新的數(shù)據(jù)段，并將數(shù)據(jù)直接寫入，寫入過程結(jié)束；(2)如果已經(jīng)存在于數(shù)據(jù)庫中則進(jìn)行后續(xù)判斷,首先判斷數(shù)據(jù)變化是否超出變化閾值，如果未超出則直接將數(shù)據(jù)丟棄，寫入過程結(jié)束；(3)如果變化超出了變化閾值，則采用旋轉(zhuǎn)門算法進(jìn)一步對數(shù)據(jù)進(jìn)行過濾；(4)經(jīng)過兩次的數(shù)據(jù)過濾，依然保留下來的數(shù)據(jù)，就需要寫入到數(shù)據(jù)庫中，數(shù)據(jù)段采用固定塊大小，是在保證一定的數(shù)據(jù)存儲量的同時，能夠?qū)崿F(xiàn)快速的數(shù)據(jù)定位，整段數(shù)據(jù)加載至內(nèi)存中，能夠?qū)?shù)據(jù)進(jìn)行快速處理。進(jìn)一步地，所述起始時間、截止時間均采本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，包括數(shù)據(jù)庫結(jié)構(gòu)定義和數(shù)據(jù)庫算法，其特征在于，所述數(shù)據(jù)庫結(jié)構(gòu)定義包括數(shù)據(jù)文件格式定義、文件信息結(jié)構(gòu)格式定義、數(shù)據(jù)段結(jié)構(gòu)定義、采樣數(shù)據(jù)結(jié)構(gòu)定義，所述數(shù)據(jù)文件格式定義如下：文字信息占20字節(jié)和n個數(shù)據(jù)段，每一個數(shù)據(jù)段占1024字節(jié)；所述文件信息結(jié)構(gòu)格式定義如下：版本信息占4字節(jié)、創(chuàng)建時間占8字節(jié)、信息預(yù)留占8字節(jié)，所述創(chuàng)建時間為1970年1月1日到創(chuàng)建時間的毫秒數(shù)；所述數(shù)據(jù)段結(jié)構(gòu)定義如下：采集數(shù)據(jù)點(diǎn)標(biāo)識的Id占4字節(jié)、段有效長度占2字節(jié)、段實(shí)際長度占2字節(jié)、前趨段地址占2字節(jié)、后續(xù)段地址占2字節(jié)、起始時間占4字節(jié)、截止時間占4字節(jié)、變化閾值占4字節(jié)、采樣數(shù)據(jù)占n字節(jié)，其中6≤n≤16；所述段有效長度為有效數(shù)據(jù)的長度；所述段實(shí)際長度在默認(rèn)情況下與與有效長度相等，但是當(dāng)過程數(shù)據(jù)有修改時則不一致；所述前趨段地址表示上一個Id的采樣數(shù)據(jù)點(diǎn)的存儲段地址；所述后續(xù)段地址表示下一個Id的采集數(shù)據(jù)點(diǎn)的存儲段地址；所述起始時間為存儲段的采樣數(shù)據(jù)起始時間；所述截止時間為存儲段采樣數(shù)據(jù)截止時間，所述起始時間與所述截止時間均是相對于文件創(chuàng)建時間的毫秒數(shù)來計算；如果新添加的數(shù)據(jù)變化大于所述變化閾值則記錄，否則拋棄。所述采樣數(shù)據(jù)結(jié)構(gòu)定義包括采樣數(shù)據(jù)頭和采樣數(shù)據(jù)兩部分，采樣數(shù)據(jù)結(jié)構(gòu)根據(jù)采樣數(shù)據(jù)頭結(jié)構(gòu)定義，采樣數(shù)據(jù)頭結(jié)構(gòu)定義如下：采樣時間標(biāo)簽占2字節(jié)、采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽占1字節(jié)；采樣數(shù)據(jù)結(jié)構(gòu)定義如下：采樣數(shù)據(jù)頭占3字節(jié)、時間標(biāo)簽占4或0字節(jié)、采樣值占1～8字節(jié)，所述采樣時間標(biāo)簽為超過上一個采樣數(shù)據(jù)的采樣時間的毫秒數(shù)，如果沒有上一個采樣數(shù)據(jù)，則表示超過該數(shù)據(jù)段的起始時間的毫秒數(shù)；所述采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽包括采樣數(shù)據(jù)類型標(biāo)簽和采樣數(shù)據(jù)的質(zhì)量標(biāo)簽，采樣數(shù)據(jù)類型標(biāo)簽的采樣值占1～4字節(jié)，采樣數(shù)據(jù)的質(zhì)量標(biāo)簽的采樣值占5～8字節(jié)，所述采樣數(shù)據(jù)的時間標(biāo)簽根據(jù)采樣數(shù)據(jù)頭來決定是否占字節(jié)，所述采樣值根據(jù)采樣數(shù)據(jù)頭中的數(shù)據(jù)類型來決定采樣值所占字節(jié)數(shù)。其數(shù)據(jù)存儲方法如下：(1)查詢新插入數(shù)據(jù)點(diǎn)是否已經(jīng)存在于數(shù)據(jù)庫中，如果未存在則創(chuàng)建新的數(shù)據(jù)段，并將數(shù)據(jù)直接寫入，寫入過程結(jié)束；(2)如果已經(jīng)存在于數(shù)據(jù)庫中則進(jìn)行后續(xù)判斷,首先判斷數(shù)據(jù)變化是否超出變化閾值，如果未超出則直接將數(shù)據(jù)丟棄，寫入過程結(jié)束；(3)如果變化超出了變化閾值，則采用旋轉(zhuǎn)門算法進(jìn)一步對數(shù)據(jù)進(jìn)行過濾，(4)經(jīng)過兩次的數(shù)據(jù)過濾，依然保留下來的數(shù)據(jù)，就需要寫入到數(shù)據(jù)庫中，數(shù)據(jù)段采用固定塊大小，是在保證一定的數(shù)據(jù)存儲量的同時，能夠?qū)崿F(xiàn)快速的數(shù)據(jù)定位，整段數(shù)據(jù)加載至內(nèi)存中，能夠?qū)?shù)據(jù)進(jìn)行快速處理。...

【技術(shù)特征摘要】
1.用于嵌入式系統(tǒng)中的文件型實(shí)時歷史數(shù)據(jù)庫算法，包括數(shù)據(jù)庫結(jié)構(gòu)定義和數(shù)據(jù)庫算法，其特征在于，所述數(shù)據(jù)庫結(jié)構(gòu)定義包括數(shù)據(jù)文件格式定義、文件信息結(jié)構(gòu)格式定義、數(shù)據(jù)段結(jié)構(gòu)定義、采樣數(shù)據(jù)結(jié)構(gòu)定義，所述數(shù)據(jù)文件格式定義如下：文字信息占20字節(jié)和n個數(shù)據(jù)段，每一個數(shù)據(jù)段占1024字節(jié)；所述文件信息結(jié)構(gòu)格式定義如下：版本信息占4字節(jié)、創(chuàng)建時間占8字節(jié)、信息預(yù)留占8字節(jié)，所述創(chuàng)建時間為1970年1月1日到創(chuàng)建時間的毫秒數(shù)；所述數(shù)據(jù)段結(jié)構(gòu)定義如下：采集數(shù)據(jù)點(diǎn)標(biāo)識的Id占4字節(jié)、段有效長度占2字節(jié)、段實(shí)際長度占2字節(jié)、前趨段地址占2字節(jié)、后續(xù)段地址占2字節(jié)、起始時間占4字節(jié)、截止時間占4字節(jié)、變化閾值占4字節(jié)、采樣數(shù)據(jù)占n字節(jié)，其中6≤n≤16；所述段有效長度為有效數(shù)據(jù)的長度；所述段實(shí)際長度在默認(rèn)情況下與與有效長度相等，但是當(dāng)過程數(shù)據(jù)有修改時則不一致；所述前趨段地址表示上一個Id的采樣數(shù)據(jù)點(diǎn)的存儲段地址；所述后續(xù)段地址表示下一個Id的采集數(shù)據(jù)點(diǎn)的存儲段地址；所述起始時間為存儲段的采樣數(shù)據(jù)起始時間；所述截止時間為存儲段采樣數(shù)據(jù)截止時間，所述起始時間與所述截止時間均是相對于文件創(chuàng)建時間的毫秒數(shù)來計算；如果新添加的數(shù)據(jù)變化大于所述變化閾值則記錄，否則拋棄。所述采樣數(shù)據(jù)結(jié)構(gòu)定義包括采樣數(shù)據(jù)頭和采樣數(shù)據(jù)兩部分，采樣數(shù)據(jù)結(jié)構(gòu)根據(jù)采樣數(shù)據(jù)頭結(jié)構(gòu)定義，采樣數(shù)據(jù)頭結(jié)構(gòu)定義如下：采樣時間標(biāo)簽占2字節(jié)、采樣數(shù)據(jù)類型及質(zhì)量標(biāo)簽占1字節(jié)；采樣數(shù)據(jù)結(jié)構(gòu)定義如下：采樣...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳寶鈞，
申請(專利權(quán))人：天津九洲云物聯(lián)科技有限公司，
類型：發(fā)明
國別省市：天津;12