python爬取微博评论
时间: 2023-09-30 13:09:32 浏览: 36
python爬虫爬取微博评论案例详解
5星 · 资源好评率100%
可以使用Python中的requests和BeautifulSoup库来爬取微博评论。首先需要获取微博页面的HTML代码,然后使用BeautifulSoup库来解析HTML代码,找到评论所在的标签,最后将评论保存到本地文件或数据库中。
以下是一个简单的示例代码,仅供参考:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://weibo.com/1234567890/ABCDE1234?filter=hot&'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
cookies = {'_T_WM': '1234567890abcdefg', 'SUB': '_2A0000abcdefghijk', 'SUHB': '0vABCDEFGHIJKLMN'}
response = requests.get(url, headers=headers, cookies=cookies)
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('div', {'class': 'WB_text'})
with open('comments.txt', 'w', encoding='utf-8') as f:
for comment in comments:
f.write(comment.text.strip() + '\n')
```
需要注意的是,网站有反爬虫机制,需要使用模拟登录或者使用代理等方式来规避反爬虫机制。此外,爬取评论需要登录账号并且有足够的权限。
阅读全文