python 爬虫多线程

在Python中，可以使用多种方法实现多线程爬虫。其中最常见的方法是使用threading模块。以下是一个示例代码，展示了如何使用threading模块实现一个简单的多线程爬虫：

import threading
import requests

# 要爬取的网页列表
url_list = ['http://www.example.com/page1', 'http://www.example.com/page2', 'http://www.example.com/page3']

# 爬取函数
def fetch_url(url):
    response = requests.get(url)
    print(response.text)

# 创建线程
threads = []
for url in url_list:
    t = threading.Thread(target=fetch_url, args=(url,))
    threads.append(t)

# 启动线程
for t in threads:
    t.start()

# 等待所有线程完成
for t in threads:
    t.join()

print('所有网页已经爬取完毕！')

在上述代码中，首先定义了一个要爬取的网页列表。然后定义了一个爬取函数fetch_url，函数中使用requests库发送HTTP请求并获取响应内容。接下来，创建了多个线程，每个线程都调用fetch_url函数来爬取不同的网页。然后，启动所有线程，并等待它们全部完成。最后，打印出所有网页已经爬取完毕的提示。

通过使用多线程爬虫，可以同时爬取多个网页，从而加快数据爬取速度。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [Python多线程爬虫爬取网站数据](https://blog.csdn.net/qq_36901092/article/details/130218524)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]