python爬虫招聘网站代码
时间: 2023-08-31 21:08:27 浏览: 47
以下是一个简单的 Python 爬虫招聘网站的示例代码,你可以根据自己的需求进行修改:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.xxx.com/jobs"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
jobs = []
for job in soup.find_all("div", {"class": "job"}):
title = job.find("h2").text.strip()
company = job.find("p", {"class": "company"}).text.strip()
location = job.find("p", {"class": "location"}).text.strip()
description = job.find("div", {"class": "description"}).text.strip()
jobs.append({
"title": title,
"company": company,
"location": location,
"description": description
})
print(jobs)
```
这个示例代码使用了 requests 库和 BeautifulSoup 库。它首先获取了招聘网站的 URL,然后使用 requests 库发送 GET 请求,并将响应的 HTML 内容传递给 BeautifulSoup 库进行解析。
在解析过程中,使用 find_all 方法查找 HTML 中所有带有 class 为 job 的 div 标签,然后提取其中的职位名称、公司名称、工作地点和职位描述等信息,并将其存储在一个字典中,最后将所有的字典存储在一个列表中。
你可以根据自己的需求进行修改,例如添加过滤条件、存储到数据库中等等。