互联网+ 电子商务 智能家居 地理信息 高端装备 信息安全 3D打印 工业4.0 人工智能 光伏 新能源汽车 消费品 集成电路 移动支付 汽车 数据中心
2017中国百强县创新发展论坛
当前位置:首页 > 产业动态 > 战新 > 新一代信息技术 > 正文

听说你好不容易写了个爬虫,结果没抓几个就被封了?

发布时间: 2017-08-29 14:28     来源: 36大数据

大数据

  近来知乎上如雨后春笋般冒出了大把大把的爬虫教程。这是好事,学了Python基础的同学们可以很轻松地搜出许多练手的例子。不过我不是针对谁,我是说网上绝大多数的爬虫教程,其实都缺乏可操作性。
  是的,也包括我自己写过的。
  主要原因有两点:
  教程是死的,网站是活的。页面会改版,接口会更新。一个爬虫教程的案例三个月之后还能有效已经是万幸了。比如我自己教程里的查天气案例,接口改动过很多次,数据也早就不更新。但发出去的文章被转发几次后就很难再维护更新了。我也只能在自己的论坛上发布更新消息和问题答疑:【Python第43课】查天气(1)。
  但凡数据比较有价值的网站,一定都会有反爬措施,既是对数据的保护,也是避免机器流量干扰到正常用户的体验。所以光是写个网络请求,几乎不可能成功拿到数据。反爬措施千千万,应对反爬的手段万万千,这就是个不停斗智斗勇的过程,不存在一个教程就教会的万金油方法。
  反爬里面最常见的一种手段就是,判断你的请求频率。如果你短时间内发送了大量的请求,甭管你是不是人,先封你账号或IP一段时间再说。所以,这就成了一个矛盾的地方:爬得太快会被封,爬得太慢又很耗时间。一般教程也许会说句:想要提升抓取效率并且降低被封的风险,可以使用代理IP。然而这话说着倒轻松,网上免费的代理IP也不少,但每次找来能用的却没几个。总不至于每次为了写点小练习还去花钱买很多付费代理吧。况且现如今你真要买,也还未必能顺利买到可用的。
  于是我们决定自己动手,一劳永逸地解决这个老大难问题:实现一个自动获取可用代理IP的接口。
  基本思路还是从网上的几大免费平台获取IP地址,不同的是我们定期去检测IP的可用性。在调用接口时,提供可用性最高的IP地址列表。
  网页上列出了几十个最新的推荐IP,只是临时找几个做测试,可直接访问查看。
  网页地址:http://lab.crossincode.com/proxy/
  API接口地址:http://lab.crossincode.com/proxy/get/
  请求方法:GET
  频率限制:不高于3秒1次
  请求示例:
  获取5个IP
  http://lab.crossincode.com/proxy/get/?num=5
  获取5个HTTPS的IP
  http://lab.crossincode.com/proxy/get/?num=5&head=https
  返回结果示例:
  {"proxies":{"http":"117.90.0.225:9000"},{"http":"186.154.146.26:8080"},{"http":"175.155.25.27:808"},{"http":"124.88.67.52:843"},{"http":"119.5.0.7:808"},"code":1}
  于是,在你做爬虫练习时,只要通过接口获取几个IP,作为你请求的proxy,即可大大提高抓取的效率。目前我们自己的爬虫项目都在使用此接口。
  不过仍然要说明,即使经过多次验证,也无法保证一个IP的绝对可用性。不同时间不同地域不同网络都有可能导致请求超时或失效。所以你的代码中也还是需要自己做好相应的异常处理。这是个概率问题,工具的作用只是尽可能提高概率。
  我们不生产IP,我们只是互联网的搬运工。

收藏