帮我用python写一份爬虫爬取纵横网的书籍数据
时间: 2023-06-18 10:06:58 浏览: 125
python书籍信息爬虫实例
好的,下面是一个简单的爬虫示例,可以爬取纵横网的书籍数据:
```python
import requests
from bs4 import BeautifulSoup
# 构造请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 指定要爬取的页面链接
url = 'http://book.zongheng.com/store/c0/c0/b0/u0/p1/v9/s9/t0/ALL.html'
# 发送请求并获取响应
response = requests.get(url, headers=headers)
# 使用 BeautifulSoup 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含书籍信息的 div 标签
book_list = soup.find('div', {'class': 'main_con'})
# 遍历每个书籍信息的标签
for book in book_list.find_all('div', {'class': 'bookinfo'}):
# 获取书籍名称和链接
book_name = book.find('a', {'class': 'fs14'}).text
book_link = book.find('a', {'class': 'fs14'})['href']
# 获取书籍作者和分类
book_author = book.find('a', {'class': 'red'}).text
book_category = book.find('a', {'class': 'blue'}).text
# 获取书籍简介
book_desc = book.find('p', {'class': 'intro'}).text
# 输出书籍信息
print('书籍名称:', book_name)
print('书籍链接:', book_link)
print('书籍作者:', book_author)
print('书籍分类:', book_category)
print('书籍简介:', book_desc)
print('\n')
```
这个示例爬虫会爬取纵横网的书籍名称、链接、作者、分类和简介等信息,并输出到控制台中。你可以根据自己的需求,修改代码以爬取更多的信息或保存到本地文件中。
阅读全文