python爬取微博正文及其评论内容并输出为csv文件
时间: 2024-06-09 16:10:47 浏览: 165
实现这个任务需要使用到 `requests` 库和 `beautifulsoup4` 库。下面是一个简单的爬取微博正文及其评论内容并输出为csv文件的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 微博链接
url = "https://weibo.com/xxxxx/xxxxx"
# 发送请求
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.text, "html.parser")
# 获取微博正文内容
weibo_content = soup.find("div", {"class": "WB_text W_f14"}).text.strip()
# 获取评论内容
comments = soup.find_all("div", {"class": "WB_text W_f14"})
# 存储评论内容
comment_contents = []
for comment in comments:
comment_contents.append(comment.text.strip())
# 将微博正文及评论内容输出为csv文件
with open("weibo.csv", "w", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["微博正文", "评论内容"])
writer.writerow([weibo_content, ""])
for comment_content in comment_contents:
writer.writerow(["", comment_content])
```
需要替换掉 `url` 中的链接,这里的示例中使用了 `xxxxx` 来代替。执行完毕后,会在当前目录下生成一个名为 `weibo.csv` 的文件,里面包含了微博正文及其评论内容。
阅读全文