python爬虫爬取豆瓣图书
时间: 2023-11-08 18:48:33 浏览: 58
好的,以下是一个简单的 Python 爬虫,可以爬取豆瓣图书的信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://book.douban.com/top250?start='
for i in range(0, 250, 25):
req = requests.get(url + str(i))
soup = BeautifulSoup(req.text, 'html.parser')
books = soup.find_all('div', class_='pl2')
for book in books:
title = book.find('a')['title']
link = book.find('a')['href']
author = book.find('span', class_='pl').get_text().strip()
rate = book.find('span', class_='rating_nums').get_text().strip()
print('书名:', title)
print('链接:', link)
print('作者:', author)
print('评分:', rate)
print('----------------------')
```
这个爬虫会爬取豆瓣图书 TOP250 的书名、链接、作者和评分信息。你可以将代码中的 `print` 改为其他操作,比如将结果保存到文件中。注意,使用爬虫时应该遵守网站的爬虫规则,不要过于频繁地请求同一个页面,以免被封禁 IP。