python前程无忧爬虫数据代码
时间: 2023-10-04 20:05:22 浏览: 150
以下是一个简单的 Python 爬虫示例,可以用来爬取前程无忧网站上的职位数据:
```python
import requests
from bs4 import BeautifulSoup
import csv
def get_jobs(url):
# 发送 HTTP 请求
response = requests.get(url)
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取职位信息
jobs = soup.select('div.el')
# 处理职位信息并保存到 CSV 文件中
with open('jobs.csv', 'w', newline='', encoding='utf-8-sig') as csvfile:
fieldnames = ['职位名称', '公司名称', '工作地点', '薪资', '发布日期']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader()
for job in jobs:
job_title = job.select_one('p.t1 a').text.strip()
company_name = job.select_one('span.t2 a').text.strip()
job_location = job.select_one('span.t3').text.strip()
job_salary = job.select_one('span.t4').text.strip()
job_post_date = job.select_one('span.t5').text.strip()
writer.writerow({'职位名称': job_title, '公司名称': company_name, '工作地点': job_location, '薪资': job_salary, '发布日期': job_post_date})
if __name__ == '__main__':
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
get_jobs(url)
```
这个爬虫程序使用了 `requests` 库来发送 HTTP 请求,使用了 `BeautifulSoup` 库来解析 HTML,最后将爬取到的职位信息保存到了一个 CSV 文件中。你需要将 `url` 变量设置为你要爬取的前程无忧网站的网址。
阅读全文