python爬虫当当网畅销书籍
时间: 2023-09-26 13:05:51 浏览: 130
python爬虫
您可以使用 Python 的爬虫库(例如 BeautifulSoup 或 Scrapy)来爬取当当网的畅销书籍信息。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 构造请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送请求
response = requests.get('http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2021-0-1-1', headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到畅销书籍的列表
book_list = soup.find_all('div', class_='name')
# 输出书籍信息
for book in book_list:
print(book.text.strip())
```
这段代码会输出当当网2021年的畅销书籍列表。您可以根据自己的需求进一步提取书名、作者等信息。请注意使用爬虫时要遵守网站的使用规则,不要对网站造成过大的访问压力。
阅读全文