python爬取微博评论代码完整版
时间: 2023-08-15 20:03:42 浏览: 363
python爬虫手把手教你抓取微博评论(完整代码)
下面是一个简单的 Python 爬取微博评论的代码,需要使用到 requests 和 BeautifulSoup 库:
```
# 导入需要的库
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
# 微博页面链接
url = 'https://weibo.cn/comment/ID'
# 爬取评论的函数
def get_comments(url):
# 发送 GET 请求
response = requests.get(url, headers=headers)
# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有评论
comments = soup.find_all('div', class_='c')
# 遍历所有评论并输出
for comment in comments:
try:
# 获取评论人和评论内容
user = comment.find_all('a')[0].text
content = comment.find_all('span', class_='ctt')[0].text
print(user + ': ' + content)
except:
pass
# 测试函数
get_comments(url)
```
需要替换代码中的 `url` 变量为要爬取的微博页面链接。同时,需要注意微博页面的评论是分页的,需要通过修改 `url` 中的 `page` 参数来爬取不同页的评论。
阅读全文