python爬虫爬取名言网

以下是使用Python爬虫爬取名言网的示例代码：

import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

# 发送请求获取网页内容
url = 'https://mingyan.supfree.net/search.asp'
response = requests.get(url, headers=headers)

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 获取名言列表
quote_list = soup.find_all('div', class_='quote')

# 遍历名言列表并提取信息
for quote in quote_list:
    content = quote.find('span', class_='content').text
    author = quote.find('span', class_='author').text
    tag = quote.find('span', class_='tag').text

    # 存储到数据库或其他地方
    # ...

    # 打印名言信息
    print('名言：', content)
    print('作者：', author)
    print('标签：', tag)
    print('--')

这段代码使用了requests库发送HTTP请求，通过设置请求头模拟浏览器访问。然后使用BeautifulSoup库解析网页内容，提取出名言的内容、作者和标签信息。你可以根据需要将这些信息存储到数据库或其他地方。最后，打印出每条名言的信息。