根据课堂所学的AJAX原理,自己选一个知乎感兴趣问题,爬取问题下面的所有回答。
时间: 2024-02-19 13:00:37 浏览: 172
知乎问题回答信息爬取.zip
好的,我可以为您介绍如何使用Python爬取知乎问题下的所有回答。
首先,我们需要安装requests和beautifulsoup4这两个Python库,可以使用以下命令在终端中完成安装:
```
pip install requests
pip install beautifulsoup4
```
接下来,我们可以编写Python代码来实现爬取知乎问题下的所有回答。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def get_answers(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'html.parser')
answers = []
for answer in soup.find_all('div', class_='zm-item-answer'):
content = answer.find('div', class_='zm-editable-content').get_text()
answers.append(content)
return answers
if __name__ == '__main__':
url = 'https://www.zhihu.com/question/26773223'
answers = get_answers(url)
for answer in answers:
print(answer)
```
在代码中,我们首先使用requests库获取指定知乎问题的网页内容,然后使用beautifulsoup4库解析HTML页面,提取出所有回答的内容,并将它们存储在一个列表中返回。最后,我们可以遍历列表并打印每个回答的内容。
请注意,这只是一个简单的示例代码,可能无法处理所有情况。如果你想使用这个代码来爬取其他知乎问题,请将代码中的URL替换为你想要爬取的问题的URL。也请注意,知乎网站可能会对频繁的爬取行为进行限制,请尽量遵守相关规定。
阅读全文