python爬取微博评论数据存入csv文件
时间: 2023-10-25 19:07:26 浏览: 115
可以使用Python中的requests和BeautifulSoup库来爬取微博评论数据,并使用csv库将数据存入csv文件中。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 微博评论页面的链接(需要替换成你要爬取的链接)
url = "https://weibo.cn/comment/KpZDxvM3w?uid=2227748373&rl=0&page=1"
# 发送请求
response = requests.get(url, headers=headers)
# 解析页面
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有的评论
comments = soup.find_all('span', class_='ctt')
# 创建csv文件
with open('comments.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
# 写入表头
writer.writerow(['评论'])
# 遍历所有的评论并写入csv文件
for comment in comments:
writer.writerow([comment.text.strip()])
```
以上代码中,我们首先设置了请求头,然后指定要爬取的微博评论页面的链接。接着发送请求并解析页面,获取所有的评论。最后,我们创建一个csv文件并将所有的评论写入其中。
需要注意的是,由于微博评论页面的编码可能不是UTF-8,因此我们在创建csv文件时需要指定编码为utf-8-sig,以避免出现乱码问题。
阅读全文