如何用python的scrapy框架爬取js翻页

可以使用Scrapy中的Selenium中间件来处理JavaScript渲染的网页，从而实现翻页。具体实现可以参考以下步骤：

1. 安装Selenium：可以使用pip或conda来安装，建议使用conda安装。

conda install -c conda-forge selenium

2. 在Scrapy的settings.py中启用Selenium中间件：

DOWNLOADER_MIDDLEWARES = {
    'scrapy_selenium.SeleniumMiddleware': 800
}

3. 使用Selenium来获取待抓取页面的真实链接，并传递给Scrapy的下载器进行下载和解析。例如，以下代码使用Selenium中的WebDriver来获取每个JS渲染的页面的真实链接，并将其传递给Scrapy的下载器。

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Rule, CrawlSpider
from scrapy.selector import Selector
from scrapy_selenium import SeleniumRequest


class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/']

    rules = (
        Rule(LinkExtractor(), callback='parse_page', follow=True),
    )

    def start_requests(self):
        for url in self.start_urls:
            yield SeleniumRequest(url=url, callback=self.parse, wait_time=10)

    def parse_page(self, response):
        sel = Selector(text=response.body)
        # do something with selectors
        pass

4. 在Scrapy中实现翻页功能。例如，以下代码展示如何实现翻页：

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Rule, CrawlSpider
from scrapy.selector import Selector
from scrapy_selenium import SeleniumRequest


class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/']

    rules = (
        Rule(LinkExtractor(), callback='parse_page', follow=True),
    )

    def start_requests(self):
        for url in self.start_urls:
            yield SeleniumRequest(url=url, callback=self.parse, wait_time=10)

    def parse_page(self, response):
        sel = Selector(text=response.body)
        # do something with selectors

        # 翻页操作
        if sel.xpath('//a[@class="next"]/@href'):  # 判断是否有下一页
            next_page = sel.xpath('//a[@class="next"]/@href')[0]
            yield SeleniumRequest(url=response.urljoin(next_page), callback=self.parse_page, wait_time=10)

其中，需要根据实际网站的翻页方式进行相应的修改。