一般系统从三个层面反爬虫：客户要求的Headers，客户个人行为，网站导航和数据加载方法。前二种非常非常容易碰到，大部分网址都从某些视角来反爬虫。第三种一些采用ajax的网址会选用，那样增加了爬虫的难度系数（避免静态数据网络爬虫应用ajax技术动态性载入网页页面）。
1.从客户要求的Headers反爬虫是最普遍的反爬虫对策
许多 平台都是对Headers的User-Agent开展检验，也有一部分网页会对Referer展开检验。假如碰到了这种反爬虫体制，能够立即在网络爬虫中加上Headers，将网页的User-Agent拷贝到网络爬虫的Headers中：或是将Referer值改动为总体目标域名。
2.根据使用者个人行为反爬虫
也有一部分网页是在监测使用者个人行为，比如同一IP短期内内数次浏览同一网页页面，或是同一账号短期内内数次开展重复实际操作。大部分平台全是前一种状况，针对这样的状况，应用IP代理商就可以处理；针对第二种状况，能够在每一次申请后任意间距几分钟再开展下一次要求。
3.动态性网页的反爬虫
以上的那些现象大多数都会发生在静态网页，也有一部分网址，大家*须 抓取的数据信息是根据ajax要求获得，或是使用Java转化成的。
解决方法：Selenium PhantomJS。Selenium：自动化技术web检测解决方法，彻底模仿真正的电脑浏览器自然环境，彻底仿真模拟大部分大部分的客户实际操作；PhantomJS ：一个沒有用户界面的电脑浏览器。
普遍的反爬对策具体有：
IP限定
UA限定
Cookie限定
資源随机化储存
动态性载入技术性
相匹配的反爬解决方式具体有：
IP代理池技术性
客户代理池技术性
Cookie储存与解决
全自动开启技术性
抓包软件剖析技术性 全自动开启技术性
