python爬虫爬取网页数据循环页数代码

以下是一个爬取网页数据并循环多页的Python爬虫代码：

import requests
from bs4 import BeautifulSoup

# 循环5页
for page in range(1, 6):
    url = 'http://example.com/page/{}'.format(page)
    res = requests.get(url)
    soup = BeautifulSoup(res.text, 'html.parser')

    # 获取需要的数据
    data = soup.find_all('div', {'class': 'item'})

    # 处理数据
    for item in data:
        # 提取需要的信息
        title = item.find('h2').text
        description = item.find('p').text

        # 打印信息
        print(title)
        print(description)

以上代码会循环爬取5页数据，每页的URL是通过字符串格式化生成的。在每页的HTML文档中，我们使用BeautifulSoup提取需要的数据，并进行进一步的处理。最后，我们打印出每个条目的标题和描述信息。

相关问题

python爬虫爬取豆瓣评论

好的，以下是一个简单的爬取豆瓣评论的Python代码示例：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/subject/{电影ID}/comments?start={页数}&limit=20&sort=new_score&status=P'

# 电影ID和页数需要根据实际情况填写
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

# 找到评论所在的div标签
comments = soup.select('.comment-item > p')

# 循环输出每条评论
for comment in comments:
    print(comment.get_text())

需要注意的是，爬取豆瓣评论需要登录账号，并且豆瓣有反爬虫机制，如果频繁爬取可能会被封IP。建议使用代理IP和随机User-Agent来规避风险。另外，在爬取评论时，要遵守网站的规则，不要进行非法操作。

python多页爬取page_Python 爬虫 2 爬取多页网页

好，针对您的问题，我可以给您讲一下如何使用 Python 爬虫爬取多页网页数据。

通常来说，我们可以使用 requests 库和 BeautifulSoup 库来实现这个功能。下面是一个示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/page/'
page_num = 5  # 爬取前5页数据

for i in range(1, page_num+1):
    page_url = url + str(i)
    r = requests.get(page_url)
    soup = BeautifulSoup(r.text, 'html.parser')
    # 在这里进行数据解析和处理
    # ...

在上面的代码中，我们首先定义了要爬取的网页地址和要爬取的页数。然后，通过 for 循环依次访问每一页的地址，使用 requests 库获取网页的 HTML 内容，然后使用 BeautifulSoup 库进行解析和处理。在实际应用中，您需要根据具体的需求进行数据解析和处理，例如提取网页中的文本、图片等资源。

需要注意的是，爬虫程序需要遵守网站的爬虫规则，不得过度访问和请求网站，避免对网站造成负担和影响。同时，您还需要考虑数据的存储、清洗和去重等问题，以确保爬虫程序的稳定和可靠性。