scrapy爬取动态网站使用edge driver

Scrapy框架主要用于爬取静态内容，但它不直接支持处理JavaScript渲染的动态网站。如果你想要爬取使用Edge浏览器或其他现代浏览器驱动（如Selenium、Puppeteer等）加载的内容，通常会结合Web Scraping框架Scrapy与浏览器自动化工具一起使用。

1. **结合Scrapy与Selenium**: 可以通过Scrapy中间件如`scrapy-selenium`，它允许你在Scrapy项目的spiders中集成Selenium的WebDriver。首先安装这个中间件：

   pip install scrapy-selenium

然后在Spider里设置一个Selenium的driver，并配置好启动页面和等待条件：

from scrapy_selenium import SeleniumRequest

class DynamicWebsiteSpider(scrapy.Spider):
    name = 'dynamic_website'
    start_urls = ['http://example.com']

    def __init__(self, *args, **kwargs):
        self.driver = webdriver.Edge()  # 使用Edge浏览器
        super().__init__(*args, **kwargs)

    def parse(self, response):
        self.driver.get(response.url)
        # 等待页面加载完成，可以根据需要调整这里的等待时间
        self.driver.implicitly_wait(10)  # 单位秒
        # 运行JavaScript并获取动态生成的数据
        dynamic_data = self.driver.execute_script("return document.getElementById('dynamic-data')")
        yield { 'data': dynamic_data }
        
        # 提交请求到下一个URL（如果有）
        next_url = self.find_next_url()
        if next_url:
            yield SeleniumRequest(url=next_url, callback=self.parse, wait_time=5)

    def find_next_url(self):
        # 根据实际需求找到下一页链接
        pass

2. **关闭driver**：记得在 Spider 结束时关闭 driver，释放资源：

def closed(self, reason):
    self.driver.quit()