怎么爬取https://book.douban.com/tag/%E5%A4%96%E5%9B%BD%E6%96%87%E5%AD%A6的数据
时间: 2023-06-21 12:05:12 浏览: 82
可以使用 Python 中的 requests 库和 BeautifulSoup 库来爬取豆瓣图书外国文学标签的数据。
以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://book.douban.com/tag/外国文学'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取图书列表
book_list = soup.find_all('li', class_='subject-item')
for book in book_list:
# 获取书名、作者、出版信息等
title = book.find('h2').a['title']
author = book.find('div', class_='pub').text.strip().split('/')[0]
publisher = book.find('div', class_='pub').text.strip().split('/')[-3]
pub_date = book.find('div', class_='pub').text.strip().split('/')[-2]
rating = book.find('span', class_='rating_nums').text.strip()
print(title, author, publisher, pub_date, rating)
```
这段代码会输出豆瓣图书外国文学标签下的图书列表,包括书名、作者、出版信息以及评分等信息。你可以根据需要修改代码,获取其他相关信息。注意,在爬取数据时要遵守网站的相关规定,不要过度频繁地请求数据,以免被封禁 IP。
阅读全文