python爬取招聘网站

爬取招聘网站的步骤大致如下：

1. 确定目标网站，了解该网站的结构和数据获取方式；
2. 使用 Python 中的 requests 库发送 HTTP 请求，获取网页 HTML 代码；
3. 使用解析 HTML 的库（比如 BeautifulSoup）获取所需数据；
4. 对数据进行清洗和处理，存储到本地或数据库中。

下面是一个简单的示例代码，可以爬取拉钩网的职位信息：

import requests
from bs4 import BeautifulSoup

url = 'https://www.lagou.com/zhaopin/Python/?labelWords=label'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, 'html.parser')
job_list = soup.find_all('li', class_='con_list_item')
for job in job_list:
    name = job.find('div', class_='p_top').find('a').text.strip()
    company = job.find('div', class_='company_name').find('a').text.strip()
    salary = job.find('span', class_='money').text.strip()
    print(name, company, salary)

这段代码利用 requests 库发送 HTTP 请求，然后用 BeautifulSoup 解析 HTML 代码，最后获取了职位名称、公司名和薪资信息，并输出到控制台上。