python爬取51job公司名称
时间: 2023-10-10 22:04:27 浏览: 43
以下是使用Python爬取51job公司名称的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
company_names = soup.select('.dw_table .el .t2 a')
for name in company_names:
print(name.text)
```
解析:
1.首先,我们需要导入requests和BeautifulSoup库。
2.将目标网址存储在变量url中。
3.设置请求标头,以避免被服务器拒绝访问。
4.使用requests库发送GET请求,将响应存储在变量res中。
5.使用BeautifulSoup库解析响应文本,将结果存储在变量soup中。
6.使用CSS选择器获取公司名称元素,将结果存储在变量company_names中。
7.遍历company_names,打印每个元素的文本内容。
这段代码将打印出第一页中所有公司的名称。您可以更改url以获取其他页中的公司名称。