生成爬取51job招聘网数据的代码
时间: 2023-09-13 12:11:07 浏览: 124
基于Python的51job数分岗位招聘信息爬取分析设计源码
5星 · 资源好评率100%
好的,以下是一个简单的 Python 爬虫示例,可以爬取 51job 招聘网的数据:
```python
# 导入需要的库
import requests
from bs4 import BeautifulSoup
# 定义爬虫函数
def spider(url):
# 发起请求并获取响应内容
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的信息,这里以招聘信息为例
job_list = soup.select('.dw_table .el')
for job in job_list:
job_name = job.select_one('.t1 a').text.strip()
company_name = job.select_one('.t2 a').text.strip()
job_location = job.select_one('.t3').text.strip()
salary = job.select_one('.t4').text.strip()
publish_time = job.select_one('.t5').text.strip()
print(job_name, company_name, job_location, salary, publish_time)
# 调用爬虫函数,传入爬取的网址
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
spider(url)
```
该示例代码使用 requests 库发起请求,并使用 BeautifulSoup 库解析 HTML 内容。通过选择合适的 CSS 选择器,提取所需要的信息,并打印输出。您可以根据需要修改代码,以获取更多的信息或实现其他功能。
阅读全文