python爬虫爬取网页招聘信息详细代码
时间: 2023-10-24 15:05:22 浏览: 104
以下是使用Python爬虫爬取网页招聘信息的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com/jobs'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
job_listings = soup.find_all('div', class_='job')
for job in job_listings:
title = job.find('h2', class_='title').text.strip()
company = job.find('div', class_='company').text.strip()
location = job.find('div', class_='location').text.strip()
description = job.find('div', class_='description').text.strip()
print(f'Title: {title}\nCompany: {company}\nLocation: {location}\nDescription: {description}\n')
```
这段代码使用了requests库发送HTTP请求获取网页内容,然后使用BeautifulSoup库解析HTML文档。通过查找HTML标签和属性,我们可以找到招聘信息的标题、公司、地点和描述,并将它们打印到控制台上。请注意,网站的HTML结构可能因网站而异,您需要根据实际情况进行修改。
阅读全文