一名爬虫工程师的自白

当兴趣变成职业时，你对它的爱恨只会越来越鲜明。

我爱爬虫，因为是它使我进入了互联网行业，让我在上海立足。我恨爬虫，它的天花板太低了，后期非常乏力。

做了大半年的爬虫工程师，给大家总结总结爬虫工程师的四种死法。

一、学习能力不强

爬虫的入门基础很简单，首先学习 Python 的基础语法，然后掌握 request、xpath、bs4 等常用的爬虫库。通过简单的网站爬取，快速掌握大致的爬虫流程：分析网站请求、发生请求、解析数据、存储数据。

再进阶一点，学一些简单的反爬措施，例如添加请求头、添加 ip 代理、建立 cookie 池等，或者学习下 scrapy 框架。用 scrapy 框架写个完整的爬虫项目，基本上就可以找到一份满意的工作了。

基本上现在大部分的培训机构采用的都像我上面所说的方法，但这样培训出来的人基本上对于爬虫的学习能力都不太强。

每个公司根据自身业务的不同，所使用的框架都会有所调整。比如使用 Kafaka 中间件来发生消息、用 Mongodb 来存储数据、用 Redis 来缓存一些消息、用 Fildder 来抓包等等。在实际的业务过程中，会遭遇很多没有学过的东西。

这时候，你的技能树就不太够用了，如果学习能力不强，在工作过程只会越来越吃力，从而被辞退。

赶不上技术的迭代，一卒。

二、花样繁多的验证码

判断一个爬虫工程师的能力，要看他的反爬能力。爬虫工作最难的部分就是在破解反爬上，而现在主流的反爬手段就是验证码。

但现在的验证码越来越变态，什么样的形式都有。比如汉字点击，再难点就是滑块验证码，最变态就是 12306 的验证码，人工手点还不一定正常。甚至有些网站还玩双重验证，你好容易过了图形验证码，它还有一个短信验证。

防不胜防的验证码，二卒。

三、 js知识缺乏

如果你没有学过js，那么爬虫就会有新的挑战。

高端的爬虫大神，一般都是js大神。所以如果你真的想在爬虫上有所发展，那么我建议你可以去深入学习js。

不懂 js，三卒。

四、网站改版

上面四步你都弄明白了，但没过一阵你发现对方网站改版了，本来正常的代码，也全部完了。

好不容易你把网站的请求逻辑给整明白，该破解的 js 代码也破解了，该写的解析函数也写了，爬虫也正常的运行起来了。但没过几天你发现对方的网站改版了！原本所有可以正常运行的代码，全部出错了。。。

网站改版，四卒。