python制作爬虫并将抓取结果保存到excel中

python制作爬虫并将抓取结果保存到制作爬虫并将抓取结果保存到excel中中

本文给大家记录的是使用Python制作爬虫爬取拉勾网信息并将结果保存到Excel中的实现思路及方法，并附上最终源码，有需要的小伙伴可以参考下

学习Python也有一段时间了，各种理论知识大体上也算略知一二了，今天就进入实战演练：通过Python来编写一个拉勾网薪资调查的小爬虫。

第一步：分析网站的请求过程第一步：分析网站的请求过程

我们在查看拉勾网上的招聘信息的时候，搜索Python，或者是PHP等等的岗位信息，其实是向服务器发出相应请求，由服务器动态的响应请求，将我们所需要的内容通过浏览器解析，呈现在我们的面

前。

可以看到我们发出的请求当中，FormData中的kd参数，就代表着向服务器请求关键词为Python的招聘信息。

分析比较复杂的页面请求与响应信息，推荐使用Fiddler，对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以，比如像火狐的FireBug等等，只要轻轻一按

def read_page(url, page_num, keyword): # 模仿浏览器post需求信息，并读取返回后的页面信息

page_headers = {

'Host': 'www.lagou.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

'Connection': 'keep-alive'

}

if page_num == 1:

boo = 'true'

else:

req = request.Request(url, headers=page_headers)

page = request.urlopen(req, data=page_data.encode('utf-8')).read()

page = page.decode('utf-8')

return page

其中比较关键的步骤在于如何仿照浏览器的Post方式，来包装我们自己的请求。

request包含的参数包括所要抓取的网页url，以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)

包装完毕之后，就可以像浏览器一样访问拉勾网，并获得页面数据了。

第三步：各取所需，获取数据第三步：各取所需，获取数据

获得页面信息之后，我们就可以开始爬虫数据中最主要的步骤：抓取数据。

抓取数据的方式有很多，像正则表达式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况，使用其中一个，又或多个结合使用。