Python爬虫入门：如何爬取招聘网站并进行分析

0 前言

工作之余，时常会想能做点什么有意思的玩意。互联网时代，到处都是互联网思维，

大数据、深度学习、人工智能，这些新词刮起一股旋风。所以笔者也赶赶潮流，买

了本 Python 爬虫书籍研读起来。

网络爬虫，顾名思义就是将互联网上的内容按照自己编订的规则抓取保存下来。理

论上来讲，浏览器上只要眼睛能看到的网页内容都可以抓起保存下来，当然很多网

站都有自己的反爬虫技术，不过反爬虫技术的存在只是增加网络爬虫的成本而已，

所以爬取些有更有价值的内容，也就对得起技术得投入。

1 案例选取

2 实现过程

我这里使用 scrapy 框架来进行爬取。

2.1 程序结构

C:\Users\hyperstrong\spiderjob_jiaohusheji

│scrapy.cfg

│

└─spiderjob

│ items.py

│ __init__.py

其中：

 items.py 是从网页抽取的项目

 jobSpider.py 是主程序

2.2 链接的构造

用浏览器打开前程无忧网站 招聘网_人才网_找工作_求职_上前程无忧，在职务搜索

里输入“交互设计师”，搜索出页面后，观察网址链接：

【交互设计师招聘】前程无忧手机网_触屏版

http://search.51job.com/jobsearch/search_result.php?fromJs=1&k