python爬虫爬取前程无忧
时间: 2023-10-07 12:11:37 浏览: 52
您好!想要爬取前程无忧网站上的数据,可以使用 Python 的 requests 和 BeautifulSoup 库进行实现。下面是一个简单的代码示例,演示如何获取前程无忧上的某个关键词搜索结果的职位名称和公司名称:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.el')
for job in job_list:
job_name = job.select('.t1')[0].text.strip()
company_name = job.select('.t2')[0].text.strip()
print(job_name, company_name)
```
需要注意的是,为了避免被网站反爬虫机制屏蔽,建议添加随机的 User-Agent 和代理 IP。另外,还应该尽量遵守网站的 robots.txt 规则,避免对网站造成不必要的压力。