爬取大众点评重庆美食评论数据并保存为CSV文件的代码
时间: 2024-11-15 19:31:33 浏览: 0
python爬取招聘网信息并保存为csv文件
爬取大众点评网站的数据通常需要使用网络抓取库,如Python的BeautifulSoup、Scrapy等。以下是一个简单的例子,展示如何使用requests和BeautifulSoup库来获取美食评论并保存到CSV文件中,假设我们关注的是某个特定商家ID:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 定义目标URL
url = "https://www.dianping.com/chongqing/search?keyword=美食&l=0&sortby=newest"
# 发起请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含评论的部分(这里仅作示例,实际结构可能会有所不同)
reviews_container = soup.find('div', class_='review-list')
# 提取评论数据,例如评论标题和内容
reviews_data = []
for review in reviews_container.find_all('li'):
title = review.find('span', class_='title').text.strip()
content = review.find('p', class_='content').text.strip()
reviews_data.append((title, content))
# 将数据保存到CSV文件
with open('chongqing_food_reviews.csv', 'w', newline='', encoding='utf-8') as csvfile:
fieldnames = ['Title', 'Content']
writer = csv.writer(csvfile)
writer.writerow(fieldnames)
writer.writerows(reviews_data)
else:
print(f"请求失败,状态码:{response.status_code}")
阅读全文