写一个Python爬取招聘网站数据的代码
时间: 2024-10-21 16:03:55 浏览: 55
python爬取招聘数据保存到mysql数据库
在Python中,使用BeautifulSoup、requests库配合Scrapy框架可以编写一个基本的网页抓取脚本来从招聘网站获取数据。这里是一个简单的示例,假设我们要从一个网页抓取职位名称:
```python
import requests
from bs4 import BeautifulSoup
# 目标URL
url = "https://www.example.com/jobs"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找职位名称标签(例如class="job-title")
job_titles = soup.find_all(class_='job-title')
# 遍历每个职位并打印标题
for title in job_titles:
print(title.get_text())
else:
print("请求失败:", response.status_code)
阅读全文