基于python对前程无忧网站的招聘信息进行爬取
时间: 2024-01-08 16:02:26 浏览: 68
好的,你需要使用Python中的requests库和BeautifulSoup库来进行网页爬取和信息提取。下面是一个简单的示例代码,可以帮助你了解如何进行爬取:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html' # 以python岗位为例
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.dw_table div.el')[1:]
for job in job_list:
job_name = job.select_one('.t1 a').text.strip()
company_name = job.select_one('.t2 a').text.strip()
job_location = job.select_one('.t3').text.strip()
salary = job.select_one('.t4').text.strip()
publish_date = job.select_one('.t5').text.strip()
print(f'{job_name} | {company_name} | {job_location} | {salary} | {publish_date}')
```
这段代码爬取的是前程无忧上的Python岗位信息,并打印出了岗位名称、公司名称、工作地点、薪资以及发布日期等信息。你可以根据自己的需求修改代码中的网址和提取信息的方式,来爬取其他岗位的信息。注意要遵守网站的Robots协议和反爬虫策略。
阅读全文