python爬取51job代码
时间: 2023-10-09 22:11:06 浏览: 133
您好!以下是一个简单的 Python 爬取 51Job 网站的代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.51job.com/'
params = {
'keyword': '数据分析',
'jobarea': '020000'
}
response = requests.get(url, params=params)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', class_='el')
for job in job_list:
job_title = job.find('a', class_='title')['title']
company_name = job.find('a', class_='name')['title']
job_salary = job.find('span', class_='t4').text.strip()
job_addr = job.find('span', class_='t3').text.strip()
print(f'职位:{job_title},公司名:{company_name},薪水:{job_salary},工作地点:{job_addr}')
```
希望这能帮到您!如果您有其它问题,欢迎继续提问。
相关问题
python爬取51job公司名称
以下是使用Python爬取51job公司名称的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
company_names = soup.select('.dw_table .el .t2 a')
for name in company_names:
print(name.text)
```
解析:
1.首先,我们需要导入requests和BeautifulSoup库。
2.将目标网址存储在变量url中。
3.设置请求标头,以避免被服务器拒绝访问。
4.使用requests库发送GET请求,将响应存储在变量res中。
5.使用BeautifulSoup库解析响应文本,将结果存储在变量soup中。
6.使用CSS选择器获取公司名称元素,将结果存储在变量company_names中。
7.遍历company_names,打印每个元素的文本内容。
这段代码将打印出第一页中所有公司的名称。您可以更改url以获取其他页中的公司名称。
使用python爬取51job招聘信息
以下是一个简单的使用Python爬取51job招聘信息的示例程序:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', class_='el')
for job in job_list:
job_name = job.find('a', class_='t').text.strip()
company_name = job.find('span', class_='t2').text.strip()
location = job.find('span', class_='t3').text.strip()
salary = job.find('span', class_='t4').text.strip()
job_url = job.find('a', class_='t')['href']
print(job_name, company_name, location, salary, job_url)
```
该程序使用requests库和BeautifulSoup库来获取和解析51job网站的招聘信息页面。它首先构建了目标页面的URL,并使用requests库发送HTTP请求,然后使用BeautifulSoup库解析响应的HTML内容。程序从解析后的HTML中查找招聘信息的列表,然后使用循环迭代每个招聘信息,并从每个信息中提取必要的信息,例如职位名称,公司名称,地点,薪资和招聘链接。最后,程序将提取的信息打印到控制台中。
需要注意的是,该示例程序只能爬取第一页的招聘信息。如果需要爬取更多的页面,需要修改URL中的页码参数。通过修改页码参数,可以实现爬取更多页面的招聘信息。
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)