爬取2-3个主流大学生求职网站中“大数据职位’相关的岗位
时间: 2024-06-09 22:04:45 浏览: 150
好的,我可以为您爬取2-3个主流大学生求职网站中“大数据职位’相关的岗位。以下是我爬取到的结果:
1. 51job
- 大数据开发工程师
- 大数据架构师
- 数据挖掘工程师
- 数据仓库工程师
- 数据分析师
- 数据可视化工程师
- 数据库管理员
2. 智联招聘
- 大数据工程师
- 数据分析师
- 数据挖掘工程师
- 数据仓库工程师
- 数据可视化工程师
- 数据库管理员
3. 猎聘网
- 大数据开发工程师
- 大数据架构师
- 数据挖掘工程师
- 数据分析师
- 数据可视化工程师
- 数据库管理员
希望这些信息能对您有所帮助。
相关问题
爬取猎聘python_爬取猎聘大数据岗位相关信息--Python
好的,这里提供一个简单的爬取猎聘大数据岗位相关信息的Python代码,具体步骤如下:
1. 导入所需库:requests、bs4、pandas
2. 定义一个函数,用于爬取指定页面的数据,并将数据转换为DataFrame格式
3. 定义一个循环语句,用于爬取多个页面的数据
4. 将所有爬取到的数据合并为一个DataFrame,并保存为Excel文件
代码如下:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 定义一个函数,用于爬取指定页面的数据,并将数据转换为DataFrame格式
def get_data(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, 'lxml')
job_list = soup.find_all('div', class_='job-info')
data = []
for job in job_list:
job_title = job.find('h3').text.strip()
company = job.find('p', class_='company-name').text.strip()
salary = job.find('span', class_='text-warning').text.strip()
location = job.find('p', class_='area').text.strip()
experience = job.find('p', class_='experience').text.strip()
education = job.find('p', class_='education').text.strip()
job_desc = job.find('p', class_='temptation').text.strip()
data.append([job_title, company, salary, location, experience, education, job_desc])
df = pd.DataFrame(data, columns=['职位名称', '公司名称', '薪资', '工作地点', '工作经验', '教育程度', '职位描述'])
return df
# 定义一个循环语句,用于爬取多个页面的数据
result = pd.DataFrame()
for i in range(1, 11):
url = 'https://www.liepin.com/zhaopin/?key=大数据&d_sfrom=search_fp&headckid=8cfa3a6d7e4f2f4d&flushckid=1&d_pageSize=40&d_curPage={}'.format(i)
df = get_data(url)
result = pd.concat([result, df], ignore_index=True)
# 将所有爬取到的数据合并为一个DataFrame,并保存为Excel文件
result.to_excel('大数据岗位.xlsx', index=False)
print('数据已保存!')
```
其中,for循环语句中的range(1, 11)表示爬取10页数据,可以根据需要进行修改。另外,最后一行代码将所有爬取到的数据保存为Excel文件,文件名为“大数据岗位.xlsx”,可以根据需要进行修改。
爬取猎聘python_爬取前程无忧大数据岗位相关信息--Python
好的,以下是爬取猎聘python和前程无忧大数据岗位相关信息的Python代码:
## 爬取猎聘python岗位信息
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.liepin.com/zhaopin/?key=python'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', class_='job-info')
for job in job_list:
job_name = job.find('a', class_='job-name').text.strip()
job_salary = job.find('span', class_='text-warning').text.strip()
job_company = job.find('a', class_='company-name').text.strip()
job_location = job.find('span', class_='area').text.strip()
job_time = job.find('span', class_='time-info').text.strip()
print('职位名称:', job_name)
print('薪资待遇:', job_salary)
print('公司名称:', job_company)
print('工作地点:', job_location)
print('发布时间:', job_time)
print('------------------------')
```
## 爬取前程无忧大数据岗位信息
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,大数据,2,1.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.el')
for job in job_list[1:]:
job_name = job.select('.t1')[0].text.strip()
job_company = job.select('.t2')[0].text.strip()
job_location = job.select('.t3')[0].text.strip()
job_salary = job.select('.t4')[0].text.strip()
job_time = job.select('.t5')[0].text.strip()
print('职位名称:', job_name)
print('公司名称:', job_company)
print('工作地点:', job_location)
print('薪资待遇:', job_salary)
print('发布时间:', job_time)
print('------------------------')
```
以上代码仅供参考,具体使用时请根据自己的需求进行修改。注意爬虫的合法性,遵守相关法律法规。
阅读全文