抓取豆瓣读书Top250网页

好的，以下是抓取豆瓣读书Top250网页的Python代码：

import requests

url = 'https://book.douban.com/top250?start='

html = ''

for i in range(0, 250, 25):
    r = requests.get(url + str(i))
    html += r.text

print(html)

这段代码会抓取豆瓣读书Top250的网页内容，并将所有页面内容合并到一个字符串变量中。请注意，在实际应用中需要注意合适的爬虫策略，以避免对豆瓣网站造成不必要的干扰。

相关问题

抓取解析豆瓣读书Top250网页

好的，以下是抓取并解析豆瓣读书Top250网页的Python代码：

import requests
from bs4 import BeautifulSoup

url = 'https://book.douban.com/top250?start='

books = []

for i in range(0, 250, 25):
    r = requests.get(url + str(i))
    soup = BeautifulSoup(r.text, 'html.parser')
    items = soup.find_all(class_='pl2')

    for item in items:
        title = item.find('a')['title']
        link = item.find('a')['href']
        books.append({'title': title, 'link': link})

for book in books:
    print(book['title'], book['link'])

这段代码会抓取豆瓣读书Top250的书籍名称和链接，并将结果以字典形式存储在列表中。请注意，在实际应用中需要注意合适的爬虫策略，以避免对豆瓣网站造成不必要的干扰。

抓取豆瓣读书Top250并csv

好的，以下是抓取豆瓣读书Top250并将数据保存为csv文件的Python代码：

import requests
from bs4 import BeautifulSoup
import csv

url = 'https://book.douban.com/top250?start='

books = []

for i in range(0, 250, 25):
    r = requests.get(url + str(i))
    soup = BeautifulSoup(r.text, 'html.parser')
    items = soup.find_all(class_='pl2')

    for item in items:
        book = item.find('a')['title']
        books.append(book)

# 将数据保存为csv文件
with open('douban_top250_books.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['书名'])
    for book in books:
        writer.writerow([book])

这段代码会抓取豆瓣读书Top250的书籍名称，并将数据保存为csv文件。请注意，在实际应用中需要注意合适的爬虫策略，以避免对豆瓣网站造成不必要的干扰。