python爬虫爬取名句
时间: 2023-11-24 21:05:53 浏览: 110
python 爬虫
以下是一个简单的Python爬虫爬取名句的例子,使用的是BeautifulSoup模块:
```python
import requests
from bs4 import BeautifulSoup
# 请求URL
url = 'https://so.gushiwen.org/mingju/default.aspx?p=1&c=&t='
# 请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送HTTP请求
response = requests.get(url, headers=headers)
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
content = soup.find_all('div', class_='cont')
# 输出名句
for item in content:
print(item.text)
```
这个例子爬取了古诗文网上的名句,并输出了每个名句的内容。你可以根据自己的需求修改URL和解析HTML内容的方式来爬取不同的网站和内容。
阅读全文