请用python写出多线程爬虫
时间: 2023-10-13 22:05:50 浏览: 90
好的,以下是一个简单的多线程爬虫的 Python 代码示例:
```python
import threading
import requests
class MyCrawler(threading.Thread):
def __init__(self, url):
threading.Thread.__init__(self)
self.url = url
def run(self):
response = requests.get(self.url)
print(response.text)
if __name__ == '__main__':
urls = ['https://www.baidu.com', 'https://www.google.com', 'https://www.bing.com']
threads = []
for url in urls:
t = MyCrawler(url)
threads.append(t)
t.start()
for t in threads:
t.join()
```
以上代码中,我们定义了一个 `MyCrawler` 类,继承自 `threading.Thread` 类,实现了 `run()` 方法。在 `run()` 方法中,我们使用 `requests` 库发送 HTTP 请求,获取网页内容并输出。
在主函数中,我们创建了多个 `MyCrawler` 线程,并将它们加入到 `threads` 列表中。然后,我们启动每个线程,等待所有线程执行完毕后再退出程序。
阅读全文