selenium爬取前程无忧多页招聘信息

以下是使用Python和Selenium爬取前程无忧多页招聘信息的示例代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time

# 设置Chrome浏览器驱动路径
driver_path = '/path/to/chromedriver'

# 创建Chrome浏览器实例
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式
driver = webdriver.Chrome(driver_path, options=options)

# 打开前程无忧网站
driver.get('https://www.51job.com/')

# 找到搜索框并输入关键词
search_box = driver.find_element(By.ID, 'kwdselectid')
search_box.send_keys('Python')
search_box.send_keys(Keys.RETURN)

# 遍历多页搜索结果并提取招聘信息
page_num = 1
while True:
    print(f'正在爬取第{page_num}页...')
    job_list = driver.find_elements(By.CLASS_NAME, 'j_joblist')
    for job in job_list:
        print(job.text)
        print('---------------------')
    
    # 找到下一页按钮并点击
    next_page = driver.find_element(By.CLASS_NAME, 'bk')
    if 'bkdisabled' in next_page.get_attribute('class'):
        break  # 已到最后一页，结束循环
    next_page.click()
    page_num += 1
    time.sleep(2)  # 等待页面加载

# 关闭浏览器
driver.quit()

这个示例代码使用了Selenium的WebDriver模块来模拟浏览器操作，包括打开网页、输入关键词、点击搜索按钮、翻页等。通过不断地在页面中查找招聘信息元素，可以逐一提取每个招聘信息的文本内容。然后，找到下一页按钮并点击，重复以上步骤，直到到达最后一页为止。最后，关闭浏览器实例。