用Python爬取拉勾网不同编程语言职位信息

本文主要用Python爬取拉勾网不同编程语言职位信息，包括：Python岗、Java岗、C++岗、PHP岗、C#岗位（5岗）；用R语言对影响薪资的因素进行分析。由于拉勾网的职位信息只显示30页，一页15个职位信息，如果单独爬取一个城市的岗位信息，只有几页是匹配的信息，信息量太小，分析没有说服力。因此，本文爬取拉勾网全国职位信息。主要三部分内容：

一、爬取拉勾网5岗职位信息--以Python岗为例

二、以Python岗位信息为例，分析影响薪资的因素

三、5岗之间薪水因素影响比较分析

一、爬取拉勾网5岗职位信息--以Python岗为例

我们抓取的信息包括Python岗位名称、公司名称、薪资、工作经验、学历、公司规模、公司福利。

抓取结果如下：

将抓取结果循环写入csv文件：

此外还抓取了Java岗、C++岗、PHP岗、C#岗位4岗的信息，代码和抓取Python岗位信息类似。

二、以Python岗位信息为例，分析影响薪资的因素

这里包括数据清洗部分和数据分析部分两部分内容。

数据清洗部分

在抓取过程中，由于将python字典循环写入csv文件，因此列名也被循环写在csv文件中。

考虑本文主要分析影响薪资的因素，这里去除Name和Company两列。

1.变量Salary

变量Salary一般都是范围值，用“-”连接，但是不排除有XXK以上，例如10k以上这种表示形式，或者其他形式，这里需要处理一下。

2.变量Education

3.变量Size

到此，数据清洗部分内容全部结束。

数据分析部分

1.工资与工作年限的关系

library(ggplot2)ggplot(newdata,aes(x=Experience,y=salary))+geom_boxplot(col="red")

符合大众的认知，从事python的应届毕业生起始工资平均值在5K左右，且薪资水平跨度最小，经验5-10年，工资水平跨度最大，主要可能是因为，有一部分转为技术管理岗位，工资较低的可能还在继续码代码，是不是对广大同胞们的警告啊.......

2.工资与学历的关系（专科，本科，研究生，不限）

ggplot(newdata,aes(x=Graduate,y=salary))+geom_boxplot(col="red")

这里是否能说明学历在一定程度上的重要性？学历本科的工资跨度比较大，因为工作经验的不同导致了薪资的差异。

3.工资与公司融资的关系

ggplot(newdata,aes(x=Rong,y=salary))+geom_boxplot(col="red")

对于这部分知识是盲点，但是可以看出融资公司（上市也是一种融资方式）比没有融资的公司平均工资要高出不少，这部分是不是可以是以后找工作的一个风向标。。。

4.工资与公司大小的关系

公司规模越大，平均的工资也越高。

5.工资与工作时间和学历的关系

这张图告诉我们，在大部分情况下，没（Ren）钱（Chou）就要多读书。不管是经验经验1年以下、经验3-5年、经验5-10年、经验不限的情况下，拥有硕士学历的平均收入都普遍高于本科，本科都高于大专。（这里完全没有歧视低学历之意）

6.公司福利的云图

现在公司的福利贴有“弹性工作，氛围好，团队，大牛，技术，五险一金”等标签来吸引求职者眼球。

三、5岗之间薪水因素影响比较分析

1.Python岗、Java岗、C++岗、PHP岗、C#岗位的平均薪水

抓取拉勾网职位信息，可以看出python和java的平均薪资较高，C#的平均工资最低。

由此也验证python近几年火热的态势，由于AI的火热，python的需求越来越大，传统的java也比较强势，薪资待遇较高。

2.相同工作经验不同职位信息薪水比较

对于不同工作经验，不同编程语言平均薪水还是有较大的差异。

3.相同学历信息不同职位信息薪水比较

通过硕士、本科、大专、不限四种比较，硕士的总体薪资高于本科。

4.同一职位不同学历信息薪水比较

总的看来，在每个职业，硕士学历的平均薪水高于本科，本科的平均薪水高于大专。