使用python的def函数爬取5个网页

在Python中，可以使用`requests`库来发送HTTP请求，获取网页内容。结合`def`关键字，可以定义一个函数来爬取单个网页，然后通过循环调用该函数来爬取多个网页。以下是一个简单的示例：

import requests

# 定义一个函数，用于爬取单个网页
def fetch_url(url):
    try:
        response = requests.get(url)
        # 确保请求成功
        if response.status_code == 200:
            return response.text
        else:
            print(f"请求失败，状态码：{response.status_code}")
    except requests.RequestException as e:
        print(f"请求出错：{e}")

# 网页列表
urls_to_fetch = [
    'http://example.com/page1',
    'http://example.com/page2',
    'http://example.com/page3',
    'http://example.com/page4',
    'http://example.com/page5'
]

# 遍历网页列表，使用fetch_url函数爬取每个网页
for url in urls_to_fetch:
    page_content = fetch_url(url)
    if page_content:
        # 处理网页内容
        # ...
        print(f"爬取完成：{url}")

在上述代码中，首先导入`requests`模块，然后定义了一个`fetch_url`函数，该函数接收一个URL作为参数，尝试请求该URL并返回网页内容。如果请求成功（状态码为200），则返回页面的HTML内容；如果失败或发生异常，则打印错误信息。

接下来，定义了一个包含5个网页URL的列表`urls_to_fetch`，然后通过for循环遍历这个列表，并对每个URL调用`fetch_url`函数来爬取对应的网页内容。