python爬取汽车之家车型口碑数据并存到excel中
时间: 2023-10-08 22:10:04 浏览: 233
python易车网车型点评数据
5星 · 资源好评率100%
好的,这里是一个简单的示例代码,可以爬取汽车之家某个车型的口碑数据,并将其存储到Excel文件中:
```python
import requests
from bs4 import BeautifulSoup
import openpyxl
# 汽车之家口碑网址
url = 'https://k.autohome.com.cn/spec/{}/index_{}.html'
# 车型ID和总页数
car_id = '3395' # 以奔驰GLA为例
total_pages = 3 # 爬取前3页数据
# 创建Excel文件
wb = openpyxl.Workbook()
ws = wb.active
ws.append(['用户', '购买地点', '购买车款', '购买年份', '评分', '优点', '缺点'])
# 循环爬取每一页的数据
for page in range(1, total_pages+1):
# 发送请求获取页面内容
response = requests.get(url.format(car_id, page))
soup = BeautifulSoup(response.text, 'html.parser')
# 解析页面内容,获取口碑信息
comments = soup.find_all('div', {'class': 'mouthcon'})
for comment in comments:
user = comment.find('div', {'class': 'choose-con'}).text.strip()
buy_place = comment.find('div', {'class': 'mouth-item choose'}).find_all('span')[1].text.strip()
buy_model = comment.find('div', {'class': 'mouth-item choose'}).find_all('span')[3].text.strip()
buy_year = comment.find('div', {'class': 'mouth-item choose'}).find_all('span')[5].text.strip()
score = comment.find('div', {'class': 'score-con'}).find('span', {'class': 'score-number'}).text.strip()
pros = comment.find('div', {'class': 'text-con'}).find('div', {'class': 'text-cont text-cont1'}).text.strip()
cons = comment.find('div', {'class': 'text-con'}).find('div', {'class': 'text-cont text-cont2'}).text.strip()
# 将口碑信息写入Excel文件
ws.append([user, buy_place, buy_model, buy_year, score, pros, cons])
# 保存Excel文件
wb.save('car_comments.xlsx')
```
这个示例代码使用requests库和BeautifulSoup库来爬取汽车之家某个车型的前3页口碑数据,并将其存储到Excel文件中。你可以根据自己的需要修改车型ID和总页数,以及Excel文件的文件名和路径。
阅读全文