Python前程无忧的爬虫代码
时间: 2023-11-19 11:43:01 浏览: 104
python爬虫爬取某招聘网站2w+的招聘数据并进行数据分析
5星 · 资源好评率100%
以下是一个简单的 Python 爬虫代码,可以爬取前程无忧网站上的职位信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.dw_table .el')
for job in job_list:
job_name = job.select('.t1 a')[0].get('title')
company = job.select('.t2 a')[0].get('title')
location = job.select('.t3')[0].get_text()
salary = job.select('.t4')[0].get_text()
print(job_name, company, location, salary)
```
该代码使用 requests 库发送 HTTP 请求,并使用 BeautifulSoup 库解析 HTML 页面。它会从前程无忧网站上获取与“python”相关的职位信息,并输出每个职位的职位名称、公司名称、工作地点和薪资范围。
请注意,在编写和使用任何爬虫代码时,请遵守所有相关网站的服务条款和法律法规。
阅读全文