用python爬取https://www.51job.com/关于python的数据
时间: 2023-08-15 15:05:10 浏览: 201
python爬虫课设,爬取51job网站岗位基本信息,大学开展python数据获取与预处理的小伙伴们,可以直接拿来用
您可以使用Python中的requests库和BeautifulSoup库来爬取https://www.51job.com/上的数据。以下是一个基本的爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.51job.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置请求头,伪装成浏览器访问
response = requests.get(url, headers=headers)
# 发送HTTP请求
soup = BeautifulSoup(response.text, 'html.parser')
# 解析HTML页面
print(soup.prettify())
# 打印解析后的HTML页面
```
这段代码可以获取https://www.51job.com/的HTML页面并输出。您可以根据需要提取其中的信息,比如招聘信息、公司名称、工作地点等等。
阅读全文