selenium爬取51job招聘网数据
时间: 2023-07-12 19:11:04 浏览: 131
基于selenium的51job网站爬虫与数据可视化分析实战
5星 · 资源好评率100%
好的,下面是使用Python和Selenium爬取51job招聘网数据的步骤:
1. 安装Selenium和Chrome浏览器
使用pip安装Selenium库:
```python
pip install selenium
```
下载Chrome浏览器并安装。
2. 编写Python代码
```python
from selenium import webdriver
# 创建Chrome浏览器对象
browser = webdriver.Chrome()
# 打开51job首页
browser.get('https://www.51job.com/')
# 输入搜索关键词
input_box = browser.find_element_by_id('kwdselectid')
input_box.send_keys('数据分析师')
# 点击搜索按钮
search_button = browser.find_element_by_css_selector('button.p_but')
search_button.click()
# 等待搜索结果加载完成
browser.implicitly_wait(10)
# 获取搜索结果列表
job_list = browser.find_elements_by_css_selector('.dw_table .el')
# 输出搜索结果
for job in job_list:
job_title = job.find_element_by_css_selector('.t1 a').text
job_company = job.find_element_by_css_selector('.t2 a').text
job_location = job.find_element_by_css_selector('.t3').text
job_salary = job.find_element_by_css_selector('.t4').text
print(job_title, job_company, job_location, job_salary)
# 关闭浏览器
browser.quit()
```
这段代码可以在Chrome浏览器中打开51job首页,输入搜索关键词“数据分析师”,点击搜索按钮,等待搜索结果加载完成,然后获取搜索结果列表中的职位名称、公司名称、工作地点和薪资,并输出到控制台中。
3. 运行Python代码
在终端中运行Python代码:
```python
python job_search.py
```
这样就可以爬取51job招聘网的数据了。
阅读全文