利用selenium使用python爬虫51job
时间: 2023-12-01 17:41:54 浏览: 94
基于python+selenium的51job网站爬虫与数据可视化分析
以下是使用selenium和python爬取51job的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# 打开浏览器
browser = webdriver.Chrome()
# 进入51job首页
browser.get('https://www.51job.com/')
# 找到搜索框并输入关键词
search_box = browser.find_element_by_id('kwdselectid')
search_box.send_keys('Python')
search_box.send_keys(Keys.RETURN)
# 等待页面加载完成
time.sleep(5)
# 找到所有职位信息的元素
job_list = browser.find_elements_by_css_selector('#resultList .el')
# 遍历所有职位信息并输出
for job in job_list:
job_name = job.find_element_by_css_selector('.t1 a').text
company_name = job.find_element_by_css_selector('.t2 a').text
location = job.find_element_by_css_selector('.t3').text
salary = job.find_element_by_css_selector('.t4').text
release_date = job.find_element_by_css_selector('.t5').text
print(job_name, company_name, location, salary, release_date)
# 关闭浏览器
browser.quit()
```
该代码使用Chrome浏览器驱动打开51job首页,输入关键词“Python”并搜索,然后等待页面加载完成后,找到所有职位信息的元素并遍历输出每个职位的名称、公司名称、地点、薪资和发布日期。最后关闭浏览器。
阅读全文