使用requests库、json库在51job主页爬取福州JAVA工程师相关招聘信息

使用Python的requests和json库抓取网页数据通常涉及以下几个步骤：

1. **导入库**：
首先需要导入`requests`库用于发送HTTP请求获取网页内容，以及`json`库用于解析JSON格式的数据。

import requests
import json

2. **发送GET请求**：
使用`requests.get()`函数向51Job的福州JAVA工程师招聘页面发送GET请求，并将响应保存在变量`response`中。

url = "https://www.51job.com/jobs/fuzhou/java/"  # 网页链接（替换为你实际的目标URL）
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}  # 设置合理的User-Agent，防止被服务器识别为机器人

response = requests.get(url, headers=headers)

3. **检查状态码**：
确保请求成功，状态码通常为200。如果不是，则可能需要处理错误。

if response.status_code == 200:
    pass
else:
    print(f"请求失败，状态码：{response.status_code}")

4. **解析HTML**：
对于51Job这样的网站，通常返回的是HTML内容，我们需要使用如BeautifulSoup等库来解析。这里假设直接获取到的就是json数据，可以跳过这一步。

5. **提取信息**：
如果是JSON数据，可以用`json.loads()`解码并转换为字典，然后通过键名提取所需的信息，比如职位名称、薪资等。

data = json.loads(response.text)
jobs = data['content']['list']  # 假设职位列表在这个字段下

for job in jobs:
    title = job['title']
    salary = job['salary']
    # ...其他字段处理
    print(f"职位标题：{title}, 薪资范围：{salary}")

6. **存储数据**：
如果你想保存数据，可以将其写入文件或数据库。

请注意，实际操作可能会因为51Job网站的结构改变而需要调整。同时，频繁的爬虫请求可能会触发反爬机制，建议遵守网站的robots.txt规则，并尽量减少对服务器的压力。