爬取招聘网站智联招聘 爬取与python岗位有关的信息: 岗位名
时间: 2023-08-17 09:01:51 浏览: 132
要爬取与Python岗位有关的信息,首先需要使用Python编写一个网络爬虫程序来获取智联招聘网站上的招聘信息。以下是一个简单的示例:
```python
import requests
from bs4 import BeautifulSoup
def get_job_info():
url = "https://www.zhaopin.com/citymap"
params = {
"kw": "Python", # 关键字为Python
"p": 1, # 第一页
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36",
}
# 发起GET请求
response = requests.get(url, params=params, headers=headers)
# 解析HTML
soup = BeautifulSoup(response.text, "html.parser")
# 获取招聘信息
job_list = soup.find_all("div", class_="jobInfo")
# 提取岗位名
job_names = []
for job in job_list:
job_name = job.find("div", class_="jobName").a.text.strip()
job_names.append(job_name)
return job_names
if __name__ == "__main__":
job_names = get_job_info()
for name in job_names:
print(name)
```
以上示例中,首先定义了一个`get_job_info`函数,该函数使用`requests`库发送GET请求获取指定关键字(Python)的招聘信息页面。然后,使用`BeautifulSoup`库解析HTML并提取岗位名信息。最后,将岗位名打印输出。
请注意,此示例仅提供了基本的爬取功能,实际项目中可能需要进一步处理和保存数据。另外,应注意网站的反爬机制及法律法规,确保爬取行为合法合规。
阅读全文