python多线程url的目录扫描

Python多线程用于URL目录扫描的场景通常是网络爬虫或者安全审计的一部分，它可以帮助提高效率，因为可以同时对多个URL发起请求。下面是一个简单的例子，展示如何使用`threading`模块来进行目录扫描：

import threading
import requests
from queue import Queue

def scan_url(queue, url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            content = response.text
            # 检查内容是否包含子目录或其他感兴趣的信息
            if 'subdir1' in content or 'subdir2' in content:
                print(f"Scanned {url}: Found subdirectories")
            queue.put(url + '/index.html')  # 将子页面加入队列继续扫描
    except Exception as e:
        print(f"Error scanning {url}: {e}")

# 初始化待扫描的URL列表和工作队列
urls_to_scan = ['http://example.com/', 'http://example.org/']
queue = Queue()

# 创建并启动扫描线程
for url in urls_to_scan:
    worker_thread = threading.Thread(target=scan_url, args=(queue, url))
    worker_thread.start()

# 当所有线程完成时停止添加新任务
while not queue.empty():
    queue.task_done()

# 等待所有线程结束
queue.join()

在这个例子中，每个线程会负责一个URL，并尝试获取其内容。如果响应状态码为200，说明它是可用的，就检查内容里是否有子目录的线索，并将下一页（如`index.html`）加入队列，让其他线程处理。