【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及大數(shù)據(jù)，特別是涉及一種數(shù)據(jù)表生命周期的管理方法及相關(guān)裝置。
技術(shù)介紹
1、隨著數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)越來(lái)越多，為降低存儲(chǔ)成本，通常采用為數(shù)據(jù)表設(shè)置生命周期的方法來(lái)管理數(shù)據(jù)，以實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)清理。
2、目前，通常由開(kāi)發(fā)人員在定義數(shù)據(jù)表結(jié)構(gòu)時(shí)人工設(shè)置數(shù)據(jù)表的生命周期。然而，由于開(kāi)發(fā)人員難以提前對(duì)數(shù)據(jù)的實(shí)際價(jià)值和使用頻率做出精準(zhǔn)的判斷，無(wú)法準(zhǔn)確設(shè)置數(shù)據(jù)表的生命周期。若設(shè)置的生命周期過(guò)長(zhǎng)，將導(dǎo)致無(wú)用數(shù)據(jù)長(zhǎng)期保留，占用存儲(chǔ)資源；若設(shè)置的生命周期過(guò)短，將導(dǎo)致有價(jià)值的數(shù)據(jù)過(guò)早被清理，影響日常使用。
3、由此，如何為數(shù)據(jù)表設(shè)置更加符合需求的生命周期，成為需要解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、基于上述問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)表生命周期的管理方法及相關(guān)裝置，可以為數(shù)據(jù)表設(shè)置更加符合需求的生命周期。
2、本申請(qǐng)實(shí)施例公開(kāi)了如下技術(shù)方案：
3、第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)表生命周期的管理方法，所述方法包括：
4、獲取數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息；所述調(diào)用信息包括數(shù)據(jù)表每個(gè)分區(qū)的最近訪(fǎng)問(wèn)日期和最近更新日期；
5、基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略；
6、基于所述生命周期推薦策略以及數(shù)據(jù)表對(duì)應(yīng)的目標(biāo)用戶(hù)標(biāo)識(shí)，輸出推薦信息；所述推薦信息至少包括：相較于采用當(dāng)前生命周期，采用所述生命周期推薦策略產(chǎn)生的存儲(chǔ)空間變化信息及數(shù)據(jù)表分區(qū)生命周期變化信息；
7、響應(yīng)于目標(biāo)用戶(hù)基于
8、可選地，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略，包括：
9、基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，按照預(yù)設(shè)時(shí)間間隔，周期性確定數(shù)據(jù)表的生命周期推薦策略。
10、可選地，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略，包括：
11、基于所述數(shù)據(jù)表的調(diào)用信息以及第一權(quán)重，得到第一數(shù)據(jù)項(xiàng)；
12、基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型對(duì)應(yīng)的存儲(chǔ)成本系數(shù)以及第二權(quán)重，得到第二數(shù)據(jù)項(xiàng)；
13、基于所述第一數(shù)據(jù)項(xiàng)、所述第二數(shù)據(jù)項(xiàng)以及所述調(diào)用信息與時(shí)間余量之間的映射關(guān)系，確定數(shù)據(jù)表的生命周期推薦值；
14、基于多張數(shù)據(jù)表的生命周期推薦值，得到生命周期推薦策略。
15、可選地，所述基于所述數(shù)據(jù)表的調(diào)用信息以及第一權(quán)重，得到第一數(shù)據(jù)項(xiàng)，包括：
16、基于數(shù)據(jù)表分區(qū)的最近訪(fǎng)問(wèn)日期與最近更新日期之間的日期差，得到多個(gè)數(shù)據(jù)表分區(qū)各自對(duì)應(yīng)日期差中的最大日期差；
17、基于所述最大日期差以及第一權(quán)重，得到第一數(shù)據(jù)項(xiàng)。
18、可選地，獲取數(shù)據(jù)表的調(diào)用信息，包括：
19、掃描歷史全量任務(wù)執(zhí)行日志，獲取各個(gè)任務(wù)的輸入表分區(qū)名稱(chēng)、輸出表分區(qū)名稱(chēng)以及任務(wù)執(zhí)行日期；
20、基于所述各個(gè)任務(wù)的輸入表分區(qū)名稱(chēng)、輸出表分區(qū)名稱(chēng)以及任務(wù)執(zhí)行日期，得到各個(gè)任務(wù)分別對(duì)應(yīng)的訪(fǎng)問(wèn)日期和更新日期；
21、將所述各個(gè)任務(wù)分別對(duì)應(yīng)的訪(fǎng)問(wèn)日期中的最大值確定為數(shù)據(jù)表分區(qū)的最近訪(fǎng)問(wèn)日期，將所述各個(gè)任務(wù)分別對(duì)應(yīng)的更新日期中的最大值確定為數(shù)據(jù)表分區(qū)的最近更新日期，得到數(shù)據(jù)表的調(diào)用信息。
22、可選地，所述響應(yīng)于目標(biāo)用戶(hù)基于所述推薦信息執(zhí)行的生命周期策略修改操作，更新所述當(dāng)前生命周期之后，所述方法還包括：
23、基于預(yù)設(shè)的掃描周期掃描數(shù)據(jù)表；
24、若存在生命周期剩余時(shí)長(zhǎng)小于預(yù)設(shè)時(shí)長(zhǎng)閾值的目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)，則基于所述目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)對(duì)應(yīng)的目標(biāo)用戶(hù)標(biāo)識(shí)，發(fā)送待清理數(shù)據(jù)信息；所述待清理數(shù)據(jù)信息包括所述目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)的名稱(chēng)、存儲(chǔ)量、最近訪(fǎng)問(wèn)日期以及預(yù)計(jì)被清理時(shí)間。
25、可選地，所述響應(yīng)于目標(biāo)用戶(hù)基于所述推薦信息執(zhí)行的生命周期策略修改操作，更新所述當(dāng)前生命周期之后，所述方法還包括：
26、響應(yīng)于目標(biāo)用戶(hù)對(duì)目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)執(zhí)行的加入白名單操作，將所述目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)的生命周期確定為長(zhǎng)期保存。
27、可選地，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略之后，所述方法還包括：
28、若目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)對(duì)應(yīng)的所述生命周期推薦策略與當(dāng)前生命周期的偏差大于預(yù)設(shè)偏差閾值，則計(jì)算采用所述生命周期推薦值對(duì)應(yīng)的第一存儲(chǔ)成本以及采用當(dāng)前生命周期對(duì)應(yīng)的第二存儲(chǔ)成本；
29、基于所述目標(biāo)數(shù)據(jù)表或目標(biāo)數(shù)據(jù)表分區(qū)對(duì)應(yīng)的目標(biāo)用戶(hù)標(biāo)識(shí)，發(fā)送所述第一存儲(chǔ)成本、所述第二存儲(chǔ)成本、以及相較于采用當(dāng)前生命周期，采用所述生命周期推薦策略產(chǎn)生的數(shù)據(jù)表分區(qū)生命周期變化信息。
30、第二方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)表生命周期的管理裝置，所述裝置包括：獲取模塊，確定模塊，輸出模塊以及更新模塊；
31、所述獲取模塊，用于獲取數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息；所述調(diào)用信息包括數(shù)據(jù)表每個(gè)分區(qū)的最近訪(fǎng)問(wèn)日期和最近更新日期；
32、所述確定模塊，用于基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略；
33、所述輸出模塊，用于基于所述生命周期推薦策略以及數(shù)據(jù)表對(duì)應(yīng)的目標(biāo)用戶(hù)標(biāo)識(shí)，輸出推薦信息；所述推薦信息至少包括：相較于采用當(dāng)前生命周期，采用所述生命周期推薦策略產(chǎn)生的存儲(chǔ)空間變化信息及數(shù)據(jù)表分區(qū)生命周期變化信息；
34、所述更新模塊，用于響應(yīng)于目標(biāo)用戶(hù)基于所述推薦信息執(zhí)行的生命周期策略修改操作，更新所述當(dāng)前生命周期。
35、第三方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)表生命周期的管理設(shè)備，所述設(shè)備包括：存儲(chǔ)器和處理器；
36、所述存儲(chǔ)器用于存儲(chǔ)程序代碼，并將所述程序代碼傳輸給所述處理器；
37、所述處理器用于根據(jù)所述程序代碼執(zhí)行第一方面中任一實(shí)施方式所述的數(shù)據(jù)表生命周期的管理方法的步驟。
38、相較于現(xiàn)有技術(shù)，本申請(qǐng)具有以下有益效果：
39、本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)表生命周期的管理方法，該方法中，首先，獲取數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息；而后，基于數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略；接著，基于生命周期推薦策略以及數(shù)據(jù)表對(duì)應(yīng)的目標(biāo)用戶(hù)標(biāo)識(shí)，輸出推薦信息；最后，響應(yīng)于目標(biāo)用戶(hù)基于推薦信息執(zhí)行的生命周期策略修改操作，更新當(dāng)前生命周期。由此，根據(jù)數(shù)據(jù)使用情況和存儲(chǔ)成本等多方面的信息確定數(shù)據(jù)表的生命周期推薦策略，能夠?yàn)閿?shù)據(jù)表設(shè)置更加符合需求的生命周期。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)表生命周期的管理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的調(diào)用信息以及第一權(quán)重，得到第一數(shù)據(jù)項(xiàng)，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取數(shù)據(jù)表的調(diào)用信息，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于目標(biāo)用戶(hù)基于所述推薦信息執(zhí)行的生命周期策略修改操作，更新所述當(dāng)前生命周期之后，所述方法還包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于目標(biāo)用戶(hù)基于所述推薦信息執(zhí)行的生命周期策略修改操作，更新所述當(dāng)前生命周期之后，所述方法還包括：
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略之后，所述
9.一種數(shù)據(jù)表生命周期的管理裝置，其特征在于，所述裝置包括：獲取模塊，確定模塊，輸出模塊以及更新模塊；
10.一種數(shù)據(jù)表生命周期的管理設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器和處理器；
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)表生命周期的管理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的存儲(chǔ)介質(zhì)類(lèi)型和調(diào)用信息，確定數(shù)據(jù)表的生命周期推薦策略，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的調(diào)用信息以及第一權(quán)重，得到第一數(shù)據(jù)項(xiàng)，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取數(shù)據(jù)表的調(diào)用信息，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于目標(biāo)用...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：馮亮，陳志遠(yuǎn)，孫谷飛，王磊，
申請(qǐng)(專(zhuān)利權(quán))人：太保科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。