成为高级爬虫工程师有哪些要求

岗位描述1：

1、参与大规模框架系统的相关架构和开发；

2、负责框架系统模块设计和开发，包括服务端和客户端，以及日常升级和维护

3、协助完成需求收集、分析，系统设计，测试和部署，编写开发过程中涉及的相关文档

任职资格

1. 3年以上Java开发经验，熟悉Java core和开源项目，有互联网开发经验者优先

2. 具备面向对象的设计思路和经验，熟悉软件开发流程、体系结构，具备较好的文档能力及良好的编码风格；

3. 具备良好的表达和沟通能力，能充分理解用户需求和功能描述，设计并开发软件系统；

4、熟悉SOA、Messaging，socket、线程、并发等开发知识，有后台框架开发经验者优先

5、熟悉应用服务器， 熟悉Tomcat、Netty、Apache的配置及其优化

6. 熟悉数据库知识，具有数据库设计能力，熟悉SQL Server/Oracle/MySql相关技术及工具

7熟悉HTTP传输协议，精通网页抓取原理及技术，能模拟浏览器操作爬虫；

8、责任心强，热爱爬虫工作，有爬虫项目经验优先。

9. 具备极强的团队精神和合作精神，对工作有热情，能够在一定压力下工作

10.全日制本科、硕士及以上学历，计算机、数学、物理及其他理工科专业毕业。

岗位描述2：

1、参与爬虫系统的架构设计与开发；

2、具有实际爬虫开发、内容提取工作经验2年以上；

3、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；

4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

5、能独立解决实际开发过程碰到的各类问题；

岗位要求：

1、熟悉linux平台开发，3年以上Java、python或C/C++开发经验；

2、精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息；

3、熟悉Mysql，redis，mongdb三者至少之一，有过数据库调优和海量数据存储经验优先；

4、具有搜索相关技术研发经验者优先；

5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

6、有nutch，heritrix抓取经验或者分布式抓取经验者优先；

7、熟悉搜索引擎和个性化推荐相关技术，精通主流分词算法、分类、提取摘要、大规模网页聚类、索引、检索等相关开发经验者优先。

职位描述3：

1、精通爬虫相关技术，如：httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等

2、精通Core Java相关知识，如：常用集合类/泛型/反射/IO/注解/多线程等

3、掌握常用开源框架，如：Spring、MyBatis、Spring Boot等

4、掌握常用数据库（如：MySQL）及相应DDL/DML，熟悉索引及常规SQL调优

5、掌握常用开发管理工具及应用服务器，如：Eclipser、Maven、Git/SVN、Tomcat、Nginx等

6、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等

7、熟悉HTTP协议，掌握HTML/CSS/JS/JQUERY/AJAX等相关知识

8、熟悉MQ、Zookeeper、Redis等分布式和NoSQL技术

9、了解Linux系统及Linux常用命令

10、了解Hadoop、HBase、HDFS、KAFKA等大数据相关知识

11、有运营商网站爬取或逆向经验尤佳

职位描述4：

1、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析；

2、参与爬虫系统的架构设计与开发；

3、实现数据提取、清洗、结构化、入库、统计分析等需求；

4、研究优化算法，提升爬虫系统的稳定性、可扩展性；

5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

6、能独立解决实际开发过程碰到的各类问题。

岗位要求：

1、全日制本科以上学历，计算机等专业；

2、有扎实的计算机基础、熟悉常用数据结构，具有实际爬虫开发经验；

3、至少熟练掌握Java／Python其中一种语言，良好的编码风格及编码能力；

4、熟悉高并发、高性能的分布式系统的设计及应用，熟悉常用数据存储，各种数据处理技术优先；

5、有3年以上编程开发经验，有丰富的爬虫和反爬虫经验者优先。