python如何创建多线程爬虫

在Python中，可以使用`threading`或`concurrent.futures`模块来创建多线程爬虫。以下是使用`threading`模块的示例代码：

import threading
import requests

def crawler(url):
    response = requests.get(url)
    # 爬取网页的代码

urls = ['https://www.example.com/page1', 'https://www.example.com/page2', 'https://www.example.com/page3']

threads = []

for url in urls:
    t = threading.Thread(target=crawler, args=(url,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

在这个示例中，我们首先定义了一个`crawler`函数，该函数接受一个URL作为参数，并使用`requests`模块获取网页内容。然后，我们创建一个包含所有URL的列表，并创建一个空线程列表。

接下来，我们遍历URL列表，为每个URL创建一个线程，并将线程对象添加到线程列表中。然后，我们依次启动每个线程，并使用`join`方法等待所有线程执行完毕。

请注意，这只是一个简单的示例代码。在实际应用中，您需要考虑更多的因素，例如线程池大小、网络延迟等等。