python selenium爬取招聘网站职位
时间: 2023-12-20 22:31:24 浏览: 149
以下是使用Python和Selenium爬取招聘网站职位并将数据保存到CSV文件的示例代码:
```python
from selenium import webdriver
import csv
# 创建CSV文件并写入表头
with open('jobs.csv', mode='w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['职位名称', '公司名称', '工作地点', '薪资', '发布时间'])
# 启动Chrome浏览器
driver = webdriver.Chrome()
# 访问招聘网站
driver.get('https://www.example.com/jobs')
# 查找职位列表
job_list = driver.find_elements_by_css_selector('.job-list li')
# 遍历职位列表并提取数据
for job in job_list:
job_name = job.find_element_by_css_selector('.job-name').text
company_name = job.find_element_by_css_selector('.company-name').text
location = job.find_element_by_css_selector('.location').text
salary = job.find_element_by_css_selector('.salary').text
publish_time = job.find_element_by_css_selector('.publish-time').text
# 将数据写入CSV文件
with open('jobs.csv', mode='a', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow([job_name, company_name, location, salary, publish_time])
# 关闭浏览器
driver.quit()
```
该代码使用Selenium模拟浏览器操作,访问招聘网站并查找职位列表。然后,遍历职位列表并提取职位名称、公司名称、工作地点、薪资和发布时间等信息,并将这些信息写入CSV文件中。
阅读全文