python爬取mooc评论
时间: 2023-10-04 13:12:06 浏览: 191
python爬虫爬取商品评论,提取各自特征,并让机器学会区分评论的褒贬性。利用支持向量机,.zip
可以使用 Python 中的 requests 库和 BeautifulSoup 库来爬取 MOOC 课程评论。以下是一个简单的示例代码,可以让你开始爬取该网站上的评论:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.icourse163.org/course/BIT-1001870001'
html = requests.get(url).text
soup = BeautifulSoup(html, 'html.parser')
comments = soup.find_all('div', class_='ux-mooc-comment-item')
for comment in comments:
user = comment.find('div', class_='ux-mooc-comment-user').text.strip()
content = comment.find('div', class_='ux-mooc-comment-content').text.strip()
print(user + ': ' + content)
```
这个代码会获取 MOOC 课程页面上的评论,并输出每个评论的作者和正文内容。你需要将 `url` 变量替换为你所需爬取的课程页面 URL。另外,有些网站需要登录才能查看评论等信息,如果需要登录,请先登录并获取登录后的 Cookie,然后将 Cookie 添加到请求头中。
阅读全文