python爬取当当网书籍
时间: 2023-11-16 22:04:43 浏览: 66
以下是一个简单的Python爬取当当网书籍的例子:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 获取页面HTML代码
url = 'http://search.dangdang.com/?key=python&act=input'
response = requests.get(url, headers=headers)
html = response.text
# 解析HTML代码,获取书籍信息
soup = BeautifulSoup(html, 'html.parser')
books = soup.select('.bigimg > li')
for book in books:
# 获取书名、作者、价格等信息
name = book.select('.name > a')[0]['title']
author = book.select('.search_book_author')[0].text.strip()
price = book.select('.search_now_price')[0].text.strip()
# 输出书籍信息
print('书名:', name)
print('作者:', author)
print('价格:', price)
print('------------------------')
```
该代码使用requests库发送HTTP请求,获取当当网搜索“python”关键字的页面HTML代码。然后使用BeautifulSoup库解析HTML代码,获取书籍的名称、作者和价格等信息,并输出到控制台。