python爬取知乎问题_Python-爬取知乎某个问题下的所有回答
时间: 2024-04-01 09:32:05 浏览: 315
好的,我可以为您提供相关帮助。您可以使用 Python 中的 requests 和 BeautifulSoup 库来爬取知乎某个问题下的所有回答。具体实现步骤如下:
1. 打开知乎问题页面,获取问题的 URL。
2. 使用 requests 库发送 GET 请求,获取页面的 HTML 内容。
3. 使用 BeautifulSoup 库解析 HTML 内容,提取所有回答的内容。
4. 将回答内容保存到本地文件或数据库中。
以下是示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 知乎问题页面 URL
url = 'https://www.zhihu.com/question/xxx'
# 发送 GET 请求,获取页面内容
response = requests.get(url)
html = response.text
# 使用 BeautifulSoup 解析 HTML 内容
soup = BeautifulSoup(html, 'html.parser')
# 提取所有回答的内容
answers = []
answer_elements = soup.find_all('div', {'class': 'RichContent-inner'})
for element in answer_elements:
answer = element.get_text().strip()
answers.append(answer)
# 将回答内容保存到文件
with open('answers.txt', 'w', encoding='utf-8') as f:
for answer in answers:
f.write(answer)
f.write('\n')
```
您只需要将示例代码中的 URL 替换为您要爬取的知乎问题页面的 URL,运行代码即可爬取该问题下的所有回答并保存到 answers.txt 文件中。需要注意的是,爬取知乎数据需要遵守知乎的 robots.txt 规定,不要过度频繁地访问网站,以免被封禁 IP。
阅读全文