目标网页:https://www.lagou.com/zhaopin/ 完成重庆市计算机行业工作的查找,月薪5k-10k 要求调用到的方法: 1.下拉菜单的选择; 2.xpath定位 使用python语言实现
时间: 2024-06-08 09:07:58 浏览: 128
好的,您可以参考以下代码实现:
```python
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 打开浏览器
driver = webdriver.Chrome()
# 打开目标网页
url = 'https://www.lagou.com/zhaopin/'
driver.get(url)
# 选择城市,这里选择重庆
city_input = driver.find_element_by_xpath('//div[@data-lg-tj-id="8FB0"]/input')
city_input.click()
city_input.send_keys('重庆')
time.sleep(1)
city_input.send_keys(Keys.ENTER)
# 选择计算机/互联网行业
industry_menu = driver.find_element(By.XPATH, '//div[@data-lg-tj-id="8F90"]')
industry_menu.click()
industry_input = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//div[@data-lg-tj-id="8F90"]//input')))
industry_input.send_keys('计算机/互联网')
time.sleep(1)
industry_input.send_keys(Keys.ENTER)
# 输入搜索关键词
search_input = driver.find_element(By.XPATH, '//div[@data-lg-tj-id="8F90"]/div[2]/input')
search_input.send_keys('Python')
# 点击搜索按钮
search_btn = driver.find_element(By.XPATH, '//div[@data-lg-tj-id="8F90"]/div[2]/span[3]')
search_btn.click()
# 选择月薪5k-10k
salary_menu = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.XPATH, '//div[@data-lg-tj-id="8FA0"]')))
salary_menu.click()
salary_range = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.XPATH, '//div[@data-lg-tj-id="8FA0"]//li[@data-index="1"]')))
salary_range.click()
# 等待搜索结果加载完成
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//div[@class="pager_container"]')))
# 输出搜索结果标题和链接
job_titles = driver.find_elements(By.XPATH, '//div[@class="p_top"]/a/h3')
job_links = driver.find_elements(By.XPATH, '//div[@class="p_top"]/a')
for i in range(len(job_titles)):
print(job_titles[i].text)
print(job_links[i].get_attribute('href'))
# 关闭浏览器
driver.quit()
```
注意:这里使用了 `selenium` 库来实现自动化操作,需要先安装该库并下载对应浏览器的驱动。这里以 `Chrome` 浏览器为例,需要下载 `chromedriver` 并放到环境变量中。另外,为了避免爬虫被检测到,建议添加一些等待时间或使用代理等手段。
阅读全文