爬取boss直聘数据

### 使用Python爬虫爬取Boss直聘网站数据

为了实现这一目标，可以采用多种方法和技术栈。以下是几种常见的方案：

#### 方法一：使用`requests`和`BeautifulSoup`

这种方法适用于静态网页的内容提取。首先需要安装必要的库。

pip install requests beautifulsoup4

接着编写如下代码来发起请求并解析HTML文档:

import requests
from bs4 import BeautifulSoup

url = "https://www.zhipin.com/c100010000/?query=python&page=2&ka=page-2"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
}

response = requests.get(url, headers=headers)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')
    
    job_listings = []
    for item in soup.select('.job-primary'):
        title = item.find('div', class_='info-primary').find('h3').get_text(strip=True)
        salary = item.find('span', {'class': 'red'}).get_text(strip=True)
        
        company_info = item.find('div', class_='company-text')
        company_name = company_info.h3.a.get_text(strip=True)

        job_listings.append({
            'title': title,
            'salary': salary,
            'company': company_name
        })
else:
    print(f"Failed to retrieve data with status code {response.status_code}")

print(job_listings[:5])  # 打印前五个职位信息作为示例[^4]

此段脚本会访问指定页面，并尝试从中抽取招聘信息的关键字段，比如职位名称、薪资范围以及公司名字等。

#### 方法二：利用Selenium模拟浏览器行为

当面对动态加载内容时，可能需要用到更强大的工具——Selenium WebDriver 来控制真实的Web浏览器实例执行自动化操作。这通常涉及到设置驱动程序路径和服务对象。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from selenium.webdriver.common.by import By
import time

service = ChromeService(executable_path='/path/to/chromedriver')  
driver = webdriver.Chrome(service=service)

try:
    driver.get("https://www.zhipin.com/")
    element = driver.find_element(By.NAME, "query")
    element.send_keys("python")

    submit_button = driver.find_element(By.CSS_SELECTOR,"button[type='submit']")
    submit_button.click()

    time.sleep(3)  # 等待页面加载完成
    
    elements = driver.find_elements(By.CLASS_NAME,'job-title')

    titles = [el.text for el in elements]

finally:
    driver.quit()
    
print(titles[:5])

这段代码展示了如何启动Chrome浏览器，输入查询条件后点击提交按钮触发搜索动作，最后收集部分匹配到的工作头衔列表[^3]。

需要注意的是，在实际开发过程中应当遵循目标站点的服务条款，尊重其robots.txt文件中的规定，合理安排抓取频率以免给服务器带来过大压力。此外，由于反爬机制的存在，某些情况下还需要考虑IP封禁风险等问题。