编写一个python爬虫 统计页面https://so.gushiwen.org/gushi/tangshi.aspx上的唐诗数量。
时间: 2024-01-11 08:03:03 浏览: 123
python获取的唐诗三百首数据库
5星 · 资源好评率100%
以下是一个爬取唐诗数量的Python爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://so.gushiwen.org/gushi/tangshi.aspx'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
tangshi_list = soup.select('.typecont span a')
count = len(tangshi_list)
print('唐诗数量为:', count)
```
首先,我们需要导入requests和BeautifulSoup库。然后,我们将目标URL赋值给变量url。我们使用requests库获取页面内容,并使用BeautifulSoup库解析HTML文档。
我们使用CSS选择器选择所有唐诗链接,并将其存储在tangshi_list变量中。最后,我们使用len()函数计算唐诗链接的数量,并输出结果。
阅读全文