python爬虫爬取腾讯招聘
时间: 2023-07-28 13:11:24 浏览: 235
python爬虫(腾讯招聘信息)
您好!关于爬取腾讯招聘信息的问题,您可以使用Python爬虫库requests和BeautifulSoup来实现。以下是一个简单的示例代码,可以爬取腾讯招聘网站上的职位信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://careers.tencent.com/search.html?index=%d&keyword=python'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
for i in range(1, 5):
response = requests.get(url % i, headers=headers)
soup = BeautifulSoup(response.content, 'html.parser')
items = soup.select('.recruit-list .recruit-item')
for item in items:
title = item.select_one('.recruit-title').text.strip()
location = item.select_one('.recruit-location').text.strip()
category = item.select_one('.recruit-category').text.strip()
print(title, location, category)
```
以上代码通过循环爬取了腾讯招聘网站上前4页的职位信息,并输出了职位名称、工作地点和职位类别。您也可以根据自己的需求进行修改。
阅读全文