一種能防御DDoS的數據采集方法和系統技術方案

本發明專利技術涉及一種能防御DDoS的數據采集方法，其包括：設置包含多個子級域名的令牌庫；對HTTP請求代碼分配令牌庫中的子級域名；接收因觸發所述HTTP請求代碼而引起的對數據采集服務器的HTTP請求；和監控來自所述HTTP請求代碼被分配的子級域名的網絡訪問流量，當所述子級域名的網絡訪問流量超過預警值時，修改DNS中該子級域名的解析規則，使其不指向數據采集服務器的IP地址。本發明專利技術還涉及一種能防御DDoS的數據采集系統。

Data acquisition method and system capable of defending DDoS

The invention relates to a method of data acquisition, defense DDoS can include: setting the token library contains multiple sub domain; requests to the HTTP code allocation token library sub domain; receiving the HTTP request for trigger code caused by the data acquisition server HTTP request; and monitoring from the HTTP request code is assigned to sub domain network traffic, network traffic when the sub domain name exceeds the warning value, modify the sub domain name parsing rules in DNS, so that it does not point to the data acquisition server IP address. The invention also relates to a data acquisition system capable of defending DDoS.

【技術實現步驟摘要】
一種能防御DDoS的數據采集方法和系統
本專利技術涉及通訊領域，特別是一種能防御DDoS的數據采集方法。本專利技術還涉及一種數據采集系統，特別是一種有令牌機制的防御DDoS的數據采集系統。
技術介紹
拒絕服務(DoS)攻擊是一個或多個攻擊者阻止或損害主計算機、路由器、服務器和網絡等的合法使用的明顯企圖。雖然這種攻擊可以從目標網絡本身內發起，但絕大多數攻擊是從與通過因特網與目標連接的外部系統和網絡發起的。今天，因特網連接設備、系統和網絡正面臨著迅速擴張和來自DoS攻擊的真正威脅。這種攻擊不僅傷害既定目標，而且威脅著因特網本身的穩定性。早期DoS攻擊技術涉及到生成分組和將分組從單個源頭發送到單個目的地的簡單工具。這些攻擊往往人工配置，這限制了它們的頻率和有效性，并且，可以容易地通過例如源地址分組過濾來防御。但是，近年來，演變出對一個或多個目標自動進行多源攻擊，即所謂分布式拒絕服務(DDoS)攻擊的工具包。通過從黑客網站下載這些工具包可容易地獲得它們，并且，使用簡單，連初學因特網用戶也可以設置DDoS攻擊。廣告監測服務的方法是在廣告頁中加入監測代碼，由此段代碼收集、處理、存儲訪客信息，并將這些信息發送回廣告監測服務器。作為廣告監測服務商，每天在互聯網上采集TB級的數據流量，涉及成百上千個項目的監測。需要一種簡單快速的方法，抵御DDoS的攻擊活動。即便個別業務遭遇DDoS的攻擊，也不能影響整個業務系統的服務。因此，如何改善多業務系統抗DDoS攻擊的能力，以降低受攻擊業務對其他業務的訪問請求的影響，成為目前亟須解決的技術問題之一。
技術實現思路
為滿足這一需求，專利技術人提供一種有令牌機制的防御DDoS的數據采集方法。通過給HTTP請求代碼發放令牌，分散各個項目的子級域名，同時由于該令牌所涉及的子級域名存儲在靜態域名解析表中，因此不會影響解析速度。根據本專利技術的第一方面，本專利技術提供一種能防御DDoS的數據采集方法，其包括：設置包含多個子級域名的令牌庫；對HTTP請求代碼分配令牌庫中的子級域名；接收因觸發所述HTTP請求代碼而引起的對數據采集服務器的HTTP請求；和監控來自所述HTTP請求代碼被分配的子級域名的網絡訪問流量，當所述子級域名的網絡訪問流量超過預警值時，修改DNS中該子級域名的解析規則，使其不指向數據采集服務器的IP地址。優選地，所述HTTP請求代碼為監測代碼。優選地，每個HTTP請求代碼分配到一個子級域名。優選地，每個子級域名均不相同。在本專利技術的一些實施方式中，所述令牌庫中的子級域名的分配是在HTTP請求代碼生成時自動進行的。在本專利技術的一些實施方式中，當HTTP請求代碼失效時，自動回收其被分配的子級域名。在本專利技術的一些實施方式中，每個HTTP請求代碼被分配的子級域名均不相同。在本專利技術的一些實施方式中，一個子級域名可被分配給多個HTTP請求代碼。根據本專利技術的第二方面，本專利技術提供一種能防御DDoS的數據采集系統，其包括：令牌庫單元，其中存儲有多個子級域名；HTTP請求代碼生成單元，生成HTTP請求代碼，每個HTTP請求代碼被令牌庫單元分配一個子級域名；數據采集單元，采集因觸發HTTP請求代碼而引起的對數據采集服務器的HTTP請求中攜帶的數據信息；流量監控單元，監控來自每個子級域名的網絡訪問流量，當網絡訪問流量超過預警值時，修改DNS中該子級域名的解析規則，使其不指向數據采集系統。在本專利技術的一些實施方式中，所述系統還包括令牌回收單元，當HTTP請求代碼失效時，自動回收其被分配的子級域名。在本專利技術的一些實施方式中，所述被回收的子級域名被返回令牌庫單元再次分配。通過本專利技術，在利用HTTP請求代碼進行數據采集時，由于分配令牌，分散了HTTP請求代碼提出HTTP請求時的子級域名。在受到DDoS攻擊時，只需要阻斷來自該子級域名的數據采集即可，不會影響其他正在進行的監測項目。若是在同一項目中的各HTTP請求代碼所分配的子級域名不同，只需要取消問題代碼，回收令牌，分配新代碼和新令牌即可繼續工作，所損失的流量對整體監測而言可以忽略不計。如此，對于需要夜以繼日不間斷采集網絡數據的大數據公司而言，本專利技術的方法可以極大地提高系統安全性和穩定性。附圖說明本專利技術的下列附圖在此作為本專利技術的一部分用于理解本專利技術。附圖中示出了本專利技術的實施例及其描述，用來解釋本專利技術的原理。在附圖中，圖1是根據本專利技術方法的一些實施方式的流程圖。圖2是根據本專利技術系統的一些實施方式的示意圖。圖3是根據本專利技術系統的又一些實施方式的示意圖。具體實施方式在下文的描述中，給出了大量具體的細節以便提供對本專利技術更為徹底的理解。然而，對于本領域技術人員來說顯而易見的是，本專利技術可以無需一個或多個這些細節而得以實施。在其他的例子中，為了避免與本專利技術發生混淆，對于本領域公知的一些技術特征未進行描述。在本專利技術中，術語“DNS”(DomainNameSystem)是指域名系統。是因特網上作為域名和IP地址相互映射的一個分布式數據庫，能夠使用戶更方便的訪問互聯網，而不用去記住能夠被機器直接讀取的IP數串。通過主機名，最終得到該主機名對應的IP地址的過程叫做域名解析(或主機名解析)。在解析域名時，可以首先采用靜態域名解析的方法，如果靜態域名解析不成功，再采用動態域名解析的方法。可以將一些常用的域名放入靜態域名解析表中，這樣可以大大提高域名解析效率。在本專利技術中，術語“HTTP請求代碼”包括但不限于監測代碼。監測代碼是廣告監測領域常用的術語，用于在用戶打開網頁、點擊或其他設定的條件滿足時，向服務器發起HTTP請求。本專利技術的技術方案可以用在廣告監測這樣高要求的情景中，也同樣可以滿足其他要求不那么嚴苛的情景。在本專利技術中，術語“子級域名”包括但不限于二級域名。網站子級域名就是網站主域名的所有下級。例如像www.intersk.com、bbs.intersk.com、sz.bbs.intersk.com統稱為intersk.com的子級域名。簡而言之就是intersk.com(也就是頂級域名)下面的所有擴展域名，都是父域名下的子級域名。而二級域名的實例，例如在登錄百度的時候，當點擊了百度知道，域名就會從www.baidu.com變為zhidao.baidu.com，而變化的這個域名，就是一個二級域名，它相對于主域名來說，也是一個獨立的域名。圖2示出了根據本專利技術的系統的一些實施方式的示意圖，主要是在廣告監測領域的實施方式。廣告監測單元201一般是在廣告投放網頁加入監測代碼，當用戶打開網頁時，腳本執行，向數據采集服務器發送HTTP請求，其中包含用戶的行為信息等諸多廣告監測用的參數。除了廣告投放的網頁以外，網絡視頻、媒體等也是廣告主進行廣告投放的渠道，也可以通過加碼的方式進行監測，在此不再贅述。一般而言，在確認進行一個監測項目之后，由監測代碼生成單元202生成項目所用的監測代碼。在本專利技術中，所生成的監測代碼由令牌庫單元203分配一個令牌，即，得到令牌庫中的一個子集域名。例如，如果數據采集服務器的域名為www.bigdata.com，監測代碼A被分配的子集域名可以為abc.bigdata.com，監測代碼B被分配的子集域名可以為bcd.bigdata.com。監測代碼A和監測代碼B被加入到不同的本文檔來自技高網...

【技術保護點】
一種能防御DDoS的數據采集方法，其包括：設置包含多個子級域名的令牌庫；對HTTP請求代碼分配令牌庫中的子級域名；接收因觸發所述HTTP請求代碼而引起的對數據采集服務器的HTTP請求；和監控來自所述HTTP請求代碼被分配的子級域名的網絡訪問流量，當所述子級域名的網絡訪問流量超過預警值時，修改DNS中該子級域名的解析規則，使其不指向數據采集服務器的IP地址。

【技術特征摘要】
1.一種能防御DDoS的數據采集方法，其包括：設置包含多個子級域名的令牌庫；對HTTP請求代碼分配令牌庫中的子級域名；接收因觸發所述HTTP請求代碼而引起的對數據采集服務器的HTTP請求；和監控來自所述HTTP請求代碼被分配的子級域名的網絡訪問流量，當所述子級域名的網絡訪問流量超過預警值時，修改DNS中該子級域名的解析規則，使其不指向數據采集服務器的IP地址。2.根據權利要求1所述的方法，其中所述令牌庫中的子級域名的分配是在HTTP請求代碼生成時自動進行的。3.根據權利要求1所述的方法，其中DNS的靜態域名解析表中存有所述令牌庫中的子級域名。4.根據權利要求1所述的方法，其中當HTTP請求代碼失效時，自動回收其被分配的子級域名。5.根據權利要求1所述的方法，其中每個HTTP請求代碼被分配的子級域名均不相同。6.根據權利要求1所述...

【專利技術屬性】
技術研發人員：鄔劍，
申請(專利權)人：精碩科技北京股份有限公司，
類型：發明
國別省市：北京,11