如今，爬虫可以在许多行业看到，如爬行目标网站的信息、列表和其他信息，然而，许多网站不愿意让他们的信息白白获得，所以出现了反爬虫措施。
到目前为止，爬虫和反爬虫经常发生精彩的攻击和防御战争，但刚开始的小白经常被一些简单的爬行措施困住，所以在这里，【USA-IDC】小编告诉小伙伴们一些常见的反爬行解决方案。
海外爬虫代理服务器推荐购买：http://www.usa-idc.com/dedicated/korea.shtml
1.访问频率限制
方法：使用python的sleep生成随机时间。大概意思其实就是用它。sleep爬虫的每个间隔都是随机的。这种方法可能会增加爬虫的时间，但可以使用多个代理IP或者动态IP来解决。
2.针对UA限制
方法：可设置随机列表，在列表中放入大量列表UA（User-Agent，一般指用户代理)，能有效防止UA被限制，但UA可能要准备更多的数量。
3.动态渲染限制
方法：动态渲染是由JavaScript请求可以在这里尝试使用burpsuite拦截请求，然后分析其规则并封装请求。
4.请求频率限制
其实是基于用户行为的，有的站点有防火墙或者程序有设置，单位时间内请求过多给你禁IP。绕过方式：使用sleep等待随机时间，这招比较狠，你可以在一个时间段内生成个随机时间，然后传递给sleep，但是这种方式会拉长爬虫周期，最好的方法就是从IP入手，多找一些代理IP去访问就可以了。
5.user-agent限制
这个绕过也很简单，设置个user-agent列表，使用随机函数，从列表里随机抽出一个user-agent，封装到http请求里，比如你从网上找30个user-agent，做成一个list列表名字叫user-agents，然后使用user-agents[random.randint(0,30)]就可以从列表随机提取一个user-agent，然后封装到http里
6.针对IP限制
方法：当反爬程序检测到同IP用户访问频率过高时，会直接将其IP锁定并限制。所以只需要准备好大量的替代IP就好了，不过更建议用动态IP，效率也会更好一些。
7.针对cookie限制
方法：使用selenium+webdriver，获取每次访问所需要的cookie，下次访问时便带上，也可以使用urllib2的cookie机制。
8. 事件限制
有些内容需要触发相关事件才能发送请求。这种绕过方法是使用这种绕过方法。selenium+webdriver即添加浏览器内核来模拟事件。
以上绕过反爬虫的方法可以单独使用，也可以综合使用，建议结合使用几种方法。当然，绕过反爬虫可能还有其他方法。
这里只想那么多，每个都是安全的，可以从安全的角度做一些，比如上面的使用，burpsuite抓包的方式可以绕过ajax。
适合爬虫使用的海外HTTP代理如何挑选？
1、确定代理IP类型
代理IP根据不同的特点，可分为数据中心代理、住宅代理、动态代理、静态代理等多种类型，代理IP不同的划分标准自然会有不同的用途，客户首先要根据自己的项目需求来决定自己需要的服务器下一步选择类型。
2、检查代理的使用方式
很多代理IP服务提供商提供代理IP使用方式不同，有些客户需要下载独立的客户端，复杂的设置，有些代理服务提供商只需要用户使用网进行IP配置和提取用于选择代理IP这也是一个值得关注的点，对工作效率有很大的影响。
最后推荐USA-IDC韩国【原生】站群服务器，可搭建海外HTTP代理服务器做爬虫类的业务，IP可以精准定位本地原生，每个月都会更新IP池，一手IP，服务于大数据采集领域帮助企业/个人快速高效获取数据源，真的非常便宜实惠，而已速度快又很稳定。
