python爬取boss直聘第一页信息
时间: 2024-09-27 15:16:59 浏览: 79
在Python中,我们可以使用requests库来发送HTTP请求获取网页内容,然后使用BeautifulSoup或Scrapy等库解析HTML文档提取所需的信息。以下是爬取Boss直聘首页招聘信息的一个简单示例:
```python
import requests
from bs4 import BeautifulSoup
# 目标URL
url = "https://www.zhipin.com/jobs?kw=Python&city=%E5%8C%97%E4%BA%AC"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'lxml')
# 查找职位标题、公司名称等元素(根据实际HTML结构调整)
job_titles = soup.select('.job-title')
companies = soup.select('.company-name')
for title, company in zip(job_titles, companies):
print(f"职位:{title.text.strip()}\n公司:{company.text.strip()}\n")
else:
print("请求失败,状态码:", response.status_code)
#
阅读全文