通过selenium来爬取boss直聘网全国岗位信息代码
时间: 2023-05-23 11:07:07 浏览: 43
A:
以下是通过selenium来爬取boss直聘网全国岗位信息的代码:
```python
from selenium import webdriver
import time
# 设置chrome浏览器的webdriver路径
driver_path = r'/path/to/chromedriver'
# 初始化浏览器
driver = webdriver.Chrome(executable_path=driver_path)
# 打开boss直聘网的全国岗位信息页面
url = 'https://www.zhipin.com/job_detail/?query=&city=101010100&industry=&position='
driver.get(url)
# 模拟滚动至页面底部
for i in range(4):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
# 获取所有职位和公司名称
jobs = driver.find_elements_by_css_selector('.job-title')
companies = driver.find_elements_by_css_selector('.company-text .name')
for job, company in zip(jobs, companies):
print(job.text, company.text)
# 关闭浏览器
driver.quit()
```
以上代码通过selenium打开boss直聘网的全国岗位信息页面,并模拟滚动至页面底部,然后获取所有职位和公司名称,并输出到控制台。其中,职位和公司名称分别通过CSS选择器查找。最后,关闭浏览器。