pycharm爬虫代码案例
时间: 2023-10-21 10:28:32 浏览: 71
以下是一个使用 PyCharm 编写的简单爬虫代码案例,可以爬取知乎的热门问题和对应的回答:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhihu.com/hot'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
hot_list = soup.find_all('section', attrs={'class': 'HotItem'})
for hot in hot_list:
title = hot.find('h2').text.strip()
desc = hot.find('p').text.strip()
print('问题:', title)
print('回答:', desc)
print('----------------------------------')
```
该代码使用了 requests 库向知乎发送请求,获取热门问题页面的 HTML,然后使用 BeautifulSoup 库解析 HTML,提取出热门问题和对应的回答,并输出到控制台上。在 PyCharm 中,可以直接创建一个 Python 项目,然后将该代码粘贴到一个 Python 文件中,运行即可。
阅读全文