用python函数同时爬取五个网址

在Python中，你可以使用多种库来实现网页的爬取，其中最常用的库之一是`requests`，它用于发送HTTP请求。同时，你还可以使用`BeautifulSoup`库来解析HTML内容，以便提取你需要的信息。如果你想要同时爬取五个网址，可以使用`concurrent.futures`模块中的`ThreadPoolExecutor`或`ProcessPoolExecutor`来并发执行网络请求。下面是一个简单的例子：

import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor

# 定义一个函数来爬取一个网址的内容
def fetch_url(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        else:
            print(f"Failed to retrieve content from {url}")
            return None
    except requests.exceptions.RequestException as e:
        print(f"Error occurred while retrieving {url}: {e}")
        return None

# 定义一个函数来创建线程池并爬取多个网址
def fetch_multiple_urls(urls):
    with ThreadPoolExecutor() as executor:
        results = list(executor.map(fetch_url, urls))
    return results

# 网址列表
urls = [
    'http://example.com',
    'http://example.org',
    'http://example.net',
    'http://example.info',
    'http://example.biz'
]

# 调用函数进行爬取
results = fetch_multiple_urls(urls)

# 打印结果
for i, content in enumerate(results):
    print(f"Content of URL {urls[i]}:\n{content}\n")

在这个例子中，`fetch_url`函数负责发送HTTP请求并获取指定URL的内容。`fetch_multiple_urls`函数使用`ThreadPoolExecutor`来并发地调用`fetch_url`函数，以提高爬取的效率。你只需要将你想要爬取的网址添加到`urls`列表中即可。