python代码爬取前程无忧网站
时间: 2024-02-18 09:55:57 浏览: 91
Python是一种高级编程语言,它在数据处理、机器学习、人工智能等领域有着广泛的应用。在网络爬虫方面,Python也是非常流行的语言之一。下面是一个简单的Python代码示例,可以爬取前程无忧网站的招聘信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,Python,2,1.html'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.el')
for job in job_list:
job_name = job.select('.t1')[0].text.strip()
company_name = job.select('.t2')[0].text.strip()
job_location = job.select('.t3')[0].text.strip()
salary = job.select('.t4')[0].text.strip()
publish_date = job.select('.t5')[0].text.strip()
print(job_name, company_name, job_location, salary, publish_date)
```
这段代码使用requests库和BeautifulSoup库来获取前程无忧网站上的Python招聘信息,并将结果打印出来。你可以根据自己的需求修改代码中的url和选择器等参数来爬取其他网站的信息。
阅读全文