scrapy爬取动态加载页面的方法

Scrapy可以使用Selenium或Splash来爬取动态加载页面。其中，Selenium是一个自动化测试工具，也可以模拟用户在浏览器中的操作，从而获取页面内容。而Splash是一个JavaScript渲染服务，可以模拟浏览器渲染页面，并且提供了API接口，方便与Scrapy集成。下面分别介绍使用Selenium和Splash来爬取动态加载页面的方法。

1. 使用Selenium

首先需要安装selenium库和对应的浏览器驱动，如ChromeDriver。然后在Scrapy的Spider中使用Selenium来获取页面内容，示例代码如下：

from scrapy import Spider
from selenium import webdriver

class MySpider(Spider):
    name = 'myspider'

    def start_requests(self):
        url = 'http://example.com'
        yield webdriver.Request(url, self.parse)

    def parse(self, response):
        driver = response.request.meta['driver']
        # 使用driver来操作页面，获取需要的内容
        ...

在start_requests方法中，使用webdriver.Request来发送请求，并将回调函数设置为parse。在parse方法中，通过response.request.meta['driver']获取到了Selenium的WebDriver对象，然后就可以使用该对象来获取页面内容。

2. 使用Splash

首先需要安装Splash服务，并启动该服务。然后在Scrapy的Spider中使用Splash来获取页面内容，示例代码如下：

import scrapy
from scrapy_splash import SplashRequest

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url, self.parse,
                args={'wait': 0.5})

    def parse(self, response):
        # 使用response来操作页面，获取需要的内容
        ...

在start_requests方法中，使用SplashRequest来发送请求，并将回调函数设置为parse。在args参数中，可以设置Splash的一些参数，如wait表示等待时间。在parse方法中，直接使用response来获取页面内容。