1、最简单的方式便是校验User-Agent

除了 User-Agent，所有通过 HTTP 请求传递到服务器的客户端参数都不能完全当做反爬虫的依据，因为模拟和伪造的成本太低了。

2、常见的反爬虫策略是基于访问数量

爬虫的访问总数会远高于人类，设定一个阈值，超过阈值的就是爬虫。常见使用这样处理方式的网站有 58 同城等，在访问 58 同城较快时，会弹出一个验证码。然而只要有规律的 sleep，就可以轻松绕过这条限制。

3、通过代理 IP 和批量注册的账号

那些大规模抓取数据的爬虫，为了能够长时间抓取数据，一般是不会跑在个人电脑上的，而是通过云服务器或者 VPS。再进一步的识别爬虫，则可以根据来访 IP 的风险属性进一步识别。

以上就是常见网站反爬虫的解决措施，当我们面对网站反爬虫时，可以采取本篇提供的方法进行解决。使用代理时结合ip能够有效的进行数据获取，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多常见问题解决：ip

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。