python爬取古诗文
时间: 2023-11-16 16:07:41 浏览: 212
python用requests爬取古代诗人名字
使用Python爬虫可以很方便地获取古诗文网站上的古诗文数据。具体步骤如下:
1. 确定要爬取的古诗文网站,并分析其网页结构。
2. 使用Python中的requests库向网站发送请求,获取网页源代码。
3. 使用BeautifulSoup库解析网页源代码,提取出需要的古诗文数据。
4. 将提取出的数据存储到本地文件或数据库中。
以下是一个简单的示例代码,用于爬取古诗文网站上的唐诗三百首:
```
import requests
from bs4 import BeautifulSoup
url = 'https://so.gushiwen.cn/gushi/tangshi.aspx'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
poems = soup.select('.cont .sons .contson')
for poem in poems:
print(poem.text.strip())
```
该代码首先向唐诗三百首页面发送请求,然后使用BeautifulSoup库解析网页源代码,提取出每首诗的内容,并打印输出。你可以根据自己的需求修改代码,以获取更多或更精确的数据。
阅读全文