boss直聘python爬虫代码
时间: 2024-03-02 07:46:20 浏览: 125
boss直聘是一个招聘网站,如果你想要编写Python爬虫来获取boss直聘的招聘信息,可以按照以下步骤进行:
1. 导入所需的库:你需要导入requests库来发送HTTP请求,以及BeautifulSoup库来解析HTML页面。
2. 发送HTTP请求:使用requests库发送GET请求到boss直聘的网页,可以通过URL参数来指定搜索条件和页数。
3. 解析HTML页面:使用BeautifulSoup库解析返回的HTML页面,提取出需要的招聘信息。
4. 提取招聘信息:根据HTML页面的结构,使用BeautifulSoup库提取出招聘信息的相关标签和属性。
5. 存储数据:将提取到的招聘信息存储到合适的数据结构中,例如列表或字典。
下面是一个简单的示例代码,用于获取boss直聘上的Python相关招聘信息:
```python
import requests
from bs4 import BeautifulSoup
def get_job_list(keyword, page):
url = f"https://www.zhipin.com/c100010000-p100109/?query={keyword}&page={page}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
job_list = []
for job in soup.find_all("div", class_="job-primary"):
job_title = job.find("div", class_="job-title").text.strip()
company_name = job.find("div", class_="company-text").a.text.strip()
salary = job.find("span", class_="red").text.strip()
job_list.append({
"title": job_title,
"company": company_name,
"salary": salary
})
return job_list
keyword = "python"
page = 1
job_list = get_job_list(keyword, page)
for job in job_list:
print(job)
```
这段代码会获取boss直聘上第一页关键字为"python"的招聘信息,并打印出职位标题、公司名称和薪资。
阅读全文