用Selenium爬取https://www.zhipin.com/chengshi/c101300500/?seoRefer=index网页的求职信息的python代码

在Python中，你可以使用Selenium库来爬取动态加载的网站数据，例如ZhiPin（智联招聘）这样的页面。以下是一个基本的例子，展示如何使用Selenium配合ChromeDriver来抓取职位信息。注意实际运行前需要安装`selenium`, `webdriver_manager`以及对应浏览器的WebDriver（如ChromeDriver）。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 安装并设置ChromeDriver路径
from webdriver_manager.chrome import ChromeDriverManager

def get_job_info(url):
    # 创建一个新的Chrome浏览器实例
    driver = webdriver.Chrome(ChromeDriverManager().install())

    try:
        # 访问指定URL
        driver.get(url)

        # 等待页面元素加载完成
        wait = WebDriverWait(driver, 10)
        job_listings = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'job-item')))

        for listing in job_listings:
            title = listing.find_element_by_class_name('title').text
            company = listing.find_element_by_class_name('company-name').text
            location = listing.find_element_by_class_name('location').text

            print(f"职位标题: {title}")
            print(f"公司名: {company}")
            print(f"地点: {location}\n")

    except Exception as e:
        print(f"爬取过程中遇到错误: {e}")

    finally:
        # 关闭浏览器
        driver.quit()

# 调用函数并获取信息
get_job_info("https://www.zhipin.com/chengshi/c101300500/?seoRefer=index")