網上信息抓取方法及系統技術方案

本發明專利技術公開了一種網上信息抓取方法，所述方法包括如下步驟：服務器接收用戶通過HTTP發送的信息抓取請求；服務器從網絡中抓取與該抓取請求對應的信息；服務器依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。本發明專利技術提供的技術方案具有安全性高的優點。

Method and system for crawling information on the Internet

The invention discloses a network information capture method, and the method comprises the following steps: the server receives messages sent via HTTP to grab the requesting user from the network server; grasping with the capture request corresponding information; determining the information processing strategies including the server according to the request information corresponding to the capture image information. The technical proposal provided by the invention has the advantages of high safety.

【技術實現步驟摘要】
網上信息抓取方法及系統
本專利技術涉及數據處理領域，尤其涉及一種網上信息抓取方法及系統。
技術介紹
網絡爬蟲(又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。網絡爬蟲實際是一種網絡信息抓取的應用程序，現有的網絡爬蟲無法依據抓取的信息判斷其處理策略，導致現有的網絡爬蟲可能使得用戶侵犯別人的權利，安全性低。
技術實現思路
本申請提供一種網上信息抓取方法。其解決現有技術的技術方案侵犯別人的權利，安全性低的缺點。一方面，提供一種網上信息抓取方法，所述方法包括如下步驟：網上信息抓取方法，所述方法包括如下步驟：服務器接收用戶通過HTTP發送的信息抓取請求；服務器從網絡中抓取與該抓取請求對應的信息；服務器依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。可選的，所述方法還包括：服務器如所述信息包含圖片信息，則將該信息存儲，如所述信息不包含圖片信息，則將該信息分享。可選的，所述方法還包括：服務器通過社交軟件或即時通信軟件對所述信息分享。第二方面，提供一種網上信息抓取系統，所述系統包括：獲取單元，用于接收用戶通過HTTP發送的信息抓取請求；處理單元，用于從網絡中抓取與該抓取請求對應的信息；依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。可選的，所述系統還包括：處理單元，用于服務器如所述信息包含圖片信息，則將該信息存儲，如所述信息不包含圖片信息，則將該信息分享。可選的，所述系統還包括：處理單元，用于通過社交軟件或即時通信軟件對所述信息分享。第三方面，提供一種服務器，包括：處理器、無線收發器、存儲器和總線，所述處理器、無線收發器、存儲器通過總線連接，所述無線收發器，用于接收用戶通過HTTP發送的信息抓取請求；所述處理器，用于從網絡中抓取與該抓取請求對應的信息；依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。可選的，所述處理器，用于服務器如所述信息包含圖片信息，則將該信息存儲，如所述信息不包含圖片信息，則將該信息分享。可選的，所述處理器，用于通過社交軟件或即時通信軟件對所述信息分享。本專利技術提供的技術方案通過抓取的信息是否包含圖片信息來制訂對應的處理策略，從而避免侵犯別人的權利，所以其具有安全性高的優點。附圖說明為了更清楚地說明本專利技術實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術第一較佳實施方式提供的一種網上信息抓取方法的流程圖；圖2為本專利技術第二較佳實施方式提供的一種網上信息抓取系統的結構圖。圖3為本專利技術第二較佳實施方式提供的一種服務器的硬件結構圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。請參考圖1，圖1是本專利技術第一較佳實施方式提出的一種網上信息抓取方法，該方法如圖1所示，包括如下步驟：步驟S101、服務器接收用戶通過HTTP發送的信息抓取請求。步驟S102、服務器從網絡中抓取與該抓取請求對應的信息。步驟S103、服務器依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。本專利技術提供的技術方案通過抓取的信息是否包含圖片信息來制訂對應的處理策略，從而避免侵犯別人的權利，所以其具有安全性高的優點。可選的，服務器如所述信息包含圖片信息，則將該信息存儲，如所述信息不包含圖片信息，則將該信息分享。可選的，服務器通過社交軟件或即時通信軟件對所述信息分享。請參考圖2，圖2是本專利技術第二較佳實施方式提出的一種網上信息抓取系統，該系統如圖2所示，包括：獲取單元201，用于接收用戶通過HTTP發送的信息抓取請求；處理單元202，用于從網絡中抓取與該抓取請求對應的信息；依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。本專利技術提供的技術方案通過抓取的信息是否包含圖片信息來制訂對應的處理策略，從而避免侵犯別人的權利，所以其具有安全性高的優點。可選的，處理單元202，用于服務器如所述信息包含圖片信息，則將該信息存儲，如所述信息不包含圖片信息，則將該信息分享。可選的，處理單元202，用于通過社交軟件或即時通信軟件對所述信息分享。參閱圖3，圖3為一種服務器30，包括：處理器301、無線收發器302、存儲器303和總線304，無線收發器302用于與外部設備之間收發數據。處理器301的數量可以是一個或多個。本申請的一些實施例中，處理器301、存儲器302和收發器303可通過總線304或其他方式連接。服務器30可以用于執行圖1的步驟。關于本實施例涉及的術語的含義以及舉例，可以參考圖1對應的實施例。此處不再贅述。無線收發器302，用于接收用戶通過HTTP發送的信息抓取請求。其中，存儲器303中存儲程序代碼。處理器901用于調用存儲器903中存儲的程序代碼，用于執行以下操作：處理器301，用于從網絡中抓取與該抓取請求對應的信息；依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。需要說明的是，這里的處理器301可以是一個處理元件，也可以是多個處理元件的統稱。例如，該處理元件可以是中央處理器(CentralProcessingUnit，CPU)，也可以是特定集成電路(ApplicationSpecificIntegratedCircuit，ASIC)，或者是被配置成實施本申請實施例的一個或多個集成電路，例如：一個或多個微處理器(digitalsingnalprocessor，DSP)，或，一個或者多個現場可編程門陣列(FieldProgrammableGateArray，FPGA)。存儲器303可以是一個存儲裝置，也可以是多個存儲元件的統稱，且用于存儲可執行程序代碼或應用程序運行裝置運行所需要參數、數據等。且存儲器303可以包括隨機存儲器(RAM)，也可以包括非易失性存儲器(non-volatilememory)，例如磁盤存儲器，閃存(Flash)等。總線304可以是工業標準體系結構(IndustryStandardArchitecture，ISA)總線、外部設備互連(PeripheralComponent，PCI)總線或擴展工業標準體系結構(ExtendedIndustryStandardArchitecture，EISA)總線等。該總線可以分為地址總線、數據總線、控制總線等。為便于表示，圖3中僅用一條粗線表示，但并不表示僅有一根總線或一種類型的總線。該終端還可以包括輸入輸出裝置，連接于總線304，以通過總線與處理器301等其它部分連接。該輸入輸出裝置可以為操作人員提供一輸入界面，以便操作人員通過該輸入界面選擇布控項，還可以是其它接口，可通過該接口外接其它設備。需要說明的是，對于前述的各個方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技本文檔來自技高網...

【技術保護點】
一種網上信息抓取方法，其特征在于，所述方法包括如下步驟：服務器接收用戶通過HTTP發送的信息抓取請求；服務器從網絡中抓取與該抓取請求對應的信息；服務器依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。

【技術特征摘要】
1.一種網上信息抓取方法，其特征在于，所述方法包括如下步驟：服務器接收用戶通過HTTP發送的信息抓取請求；服務器從網絡中抓取與該抓取請求對應的信息；服務器依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。2.根據權利要求1所述的方法，其特征在于，所述方法還包括：服務器如所述信息包含圖片信息，則將該信息存儲，如所述信息不包含圖片信息，則將該信息分享。3.根據權要求2所述的方法，其特征在于，所述方法還包括：服務器通過社交軟件或即時通信軟件對所述信息分享。4.一種網上信息抓取系統，其特征在于，所述系統包括：獲取單元，用于接收用戶通過HTTP發送的信息抓取請求；處理單元，用于從網絡中抓取與該抓取請求對應的信息；依據該抓取請求對應的信息內包含的圖片信息確定該信息的處理策略。5.根據權利要求4所述的系統，其特征在于，所述系統還包括：處理...

【專利技術屬性】
技術研發人員：馬巖，
申請(專利權)人：深圳市博信諾達經貿咨詢有限公司，
類型：發明
國別省市：廣東,44