如何用python爬取爬虫招聘
时间: 2023-06-29 20:19:56 浏览: 89
可以使用Python的requests库和BeautifulSoup库进行爬取,以下是一个简单的爬取示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,爬虫,2,1.html'
# 发送请求
resp = requests.get(url)
# 解析html
soup = BeautifulSoup(resp.text, 'html.parser')
# 找到所有职位信息所在的标签
job_list = soup.find_all('div', {'class': 'el'})
# 遍历每个职位信息标签
for job in job_list:
# 找到职位名称和公司名称标签
job_name_tag = job.find('a', {'target': '_blank'})
company_tag = job.find('a', {'target': '_blank', 'class': 'e'})
# 如果找到了职位名称和公司名称标签,则打印出职位和公司名称
if job_name_tag and company_tag:
job_name = job_name_tag.get('title')
company_name = company_tag.text.strip()
print('职位:{},公司:{}'.format(job_name, company_name))
```
在这个示例代码中,首先指定了要爬取的URL,并使用requests库发送请求。然后使用BeautifulSoup库解析响应的HTML文本,并找到所有职位信息所在的标签。遍历每个职位信息标签,找到职位名称和公司名称标签,并打印出职位和公司名称。你可以根据自己的需求更改url中的查询参数。
阅读全文