写一个爬取51job网站数据的代码
时间: 2023-09-12 15:07:45 浏览: 37
python爬虫课设,爬取51job网站岗位基本信息,大学开展python数据获取与预处理的小伙伴们,可以直接拿来用
以下是一个简单的 Python 爬虫,可以爬取 51job 网站的职位信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html'
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
job_list = soup.find_all('div', class_='el')
for job in job_list:
job_name = job.find('a').text.strip()
company_name = job.find('span', class_='t2').text.strip()
location = job.find('span', class_='t3').text.strip()
salary = job.find('span', class_='t4').text.strip()
print(f'{job_name} | {company_name} | {location} | {salary}')
```
这个代码会爬取 51job 网站的 Python 职位信息,并输出职位名称、公司名称、工作地点和薪资。你可以根据需要修改代码来爬取其他关键词或更多信息。注意,爬虫需要遵守网站的 robots.txt 文件,不要过于频繁地爬取同一个页面。
阅读全文