python多线程爬虫实例

Python多线程爬虫是一个常见的应用场景，可以有效地提高爬取数据的效率。下面给您介绍一个简单的Python多线程爬虫实例：

import requests
from threading import Thread

def get_content(url):
    r = requests.get(url)
    print(r.content)

urls = ['http://www.baidu.com', 'http://www.google.com', 'http://www.github.com']

for url in urls:
    t = Thread(target=get_content, args=(url,))
    t.start()

以上代码中，我们定义了一个 `get_content` 函数，用来向指定的url发送请求并打印响应内容。然后定义了一个url列表，遍历这个列表，将每个url作为参数传递给 `get_content` 函数，然后使用多线程的方式启动该函数。

这里使用 `Thread` 类创建线程，并使用 `start` 方法启动线程，其中 `target` 参数指定要执行的函数，`args` 参数是该函数的参数。这样，我们就可以同时向多个网站发送请求并获取响应内容。