爬取瓜子二手车信息600条并存在csv文件当中,用Python代码
时间: 2024-03-28 17:40:47 浏览: 154
基于Python实现的二手车爬虫数据可视化分析设计源代码+文档说明+sql文件
5星 · 资源好评率100%
好的,可以使用Python中的requests库和BeautifulSoup库来爬取瓜子二手车网站的信息,并将数据保存到csv文件中。以下是示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 定义请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 定义要爬取的页面数量
page_num = 30
# 定义写入csv文件的表头
headers = ['车型', '车价', '上牌时间', '里程', '排量', '变速箱', '所在城市', '看车地址']
# 创建csv文件并写入表头
with open('guazi_cars.csv', mode='w', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
writer.writerow(headers)
# 爬取信息
for page in range(1, page_num+1):
url = f'https://www.guazi.com/www/buy/o{page}/#bread'
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
car_list = soup.find_all('div', class_='list-infoBox')
# 解析车辆信息并写入csv文件
with open('guazi_cars.csv', mode='a', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
for car in car_list:
car_info = []
car_info.append(car.find('h2', class_='t').text.strip())
car_info.append(car.find('div', class_='t-price').text.strip())
car_info.extend([info.text.strip() for info in car.find_all('div', class_='t-i')])
writer.writerow(car_info)
print(f'已爬取第{page}页信息。')
print('所有信息已爬取完成并保存到csv文件中。')
```
以上代码会爬取瓜子二手车网站的前30页信息,每页20条,共计600条,并将数据保存到名为`guazi_cars.csv`的csv文件中,文件编码为utf-8。你可以根据需要修改`page_num`来控制要爬取的页数。
阅读全文