用python爬虫获取唐诗
时间: 2024-05-27 22:06:17 浏览: 23
使用Python编写爬虫可以轻松地获取唐诗。以下是一种基于requests库和beautifulsoup4库的爬取唐诗的代码实现:
```python
import requests
from bs4 import BeautifulSoup
# 定义请求头信息,以避免网站反爬机制
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 定义需要爬取的网页链接
url = 'https://www.gushiwen.cn/tangshi.aspx'
# 发送HTTP请求,获取响应内容
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
# 解析HTML文档,提取唐诗信息
soup = BeautifulSoup(response.text, 'html.parser')
poem_list = soup.find_all('div', class_='sons')
# 遍历唐诗列表,输出其中的标题和正文部分
for poem in poem_list:
title = poem.find('b').text
content = poem.find('div', class_='contson').text.strip()
print(title)
print(content)
# 提出至少3个相关问题:
# 1. 怎么使用beautifulsoup4库解析HTML文档?
# 2. 如何避免网站反爬机制?
# 3. 哪些网站提供了唐诗的数据?
相关推荐
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)