python爬取论坛评论数据
时间: 2023-09-04 17:14:02 浏览: 111
Python 爬取论坛评论数据可以使用 requests 和 BeautifulSoup 库。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 论坛页面链接
url = 'https://example.com/forum/thread-1.html'
# 发送 GET 请求并获取页面 HTML
response = requests.get(url)
html = response.text
# 解析 HTML
soup = BeautifulSoup(html, 'html.parser')
# 获取所有评论元素
comments = soup.find_all('div', class_='comment')
# 遍历评论元素并提取内容
for comment in comments:
# 评论内容
content = comment.find('div', class_='content').text.strip()
# 评论时间
time = comment.find('div', class_='time').text.strip()
# 评论用户
user = comment.find('div', class_='user').text.strip()
# 输出评论信息
print(f'{user} 在 {time} 评论了:{content}')
```
需要注意的是,爬取论坛评论数据可能会涉及到一些法律和道德问题,请使用者自行斟酌。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)