一種基于html網頁的數據抽取系統技術方案

本發明專利技術屬于計算機網絡技術領域，具體為一種基于html網頁的數據抽取系統。其由xml解析器，html引擎以及數據管理器三個模塊組成。本發明專利技術的優點在于：只需要在xml文件中描述html網頁中哪些節點信息需要抓取，以及xml中其他一些配置信息，就可以快速的抓取所需要的數據，其方法簡單、快捷。

【技術實現步驟摘要】

【技術保護點】
一種基于html網頁的數據抽取系統，其特征在于：其由xml解析器，html引擎以及數據管理器三個模塊組成；其中：所述xml解析器模塊負責解析sysconfig.xml文件，得到系統初始化參數、頁面的url地址和目標節點的描述信息；所述html引擎模塊首先驗證sysconfig.xml文件配置信息的有效性，如果有效則繼續執行，否則提示用戶檢查xml文件配置信息；xml文件配置通過驗證之后，根據配置信息中的頁面鏈接地址，獲取該頁面的html文檔，然后再調用html解析器來解析html文檔，根據sysconfig.xml中配置的目標節點選擇器描述信息，獲得html中目標元素，從而獲得該元素的數據；所述數據管理模塊主要是負責數據的持久化工作，根據用戶在sysconfig.xml中配置的數據保存方式，選擇相應的數據管理器來完成數據的持久化工作；所述系統進行數據抽取的工作流程如下：首先，html引擎模塊根據xml解析器模塊獲得的html頁面url地址，通過http?get請求獲取目標網頁文檔；接著xml解析器模塊根據xml文件中的配置目標節點選擇器，描述具有相同html頁面結構的目標節點；再經過我們的html?引擎模塊解析，得到我們想要的目標節點的結構化數據；最后由數據管理器模塊根據配置文件中配置的數據保存方式將其保存在相應的介質中。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：王新，陳功鎖，權恒星，
申請(專利權)人：復旦大學，
類型：發明
國別省市：