drissionpage爬取时下滑与翻页功能

DrissionPage是一种基于JavaScript渲染的网页爬虫工具库，它利用浏览器内核（如Puppeteer或Playwright）来模拟用户交互，包括页面滚动和翻页操作。在爬取那些需要动态加载内容或存在分页结构的网站时，DrissionPage能够自动滑动到底部触发加载更多内容，或者通过分析分页链接实现翻页。

以下是使用DrissionPage进行滚动和翻页的基本步骤：

1. **初始化**：首先，你需要创建一个DrissionPage实例，并连接到目标网页。

const { Dripsy } = require('drission');
const page = await Dripsy.goto('http://example.com');

2. **滚动加载**：可以使用`scrollToBottom()`函数滑动到底部并加载新的内容。

await page.scrollToBottom();

3. **检查滚动条位置**：你可以检查滚动条的位置确认是否已达到底部。

const scrollTop = await page.evaluate(() => window.pageYOffset);

4. **翻页**：如果页面有明确的翻页链接或元素，找到它们并点击。

const nextPageButton = await page.$('#next-page-link');
if (nextPageButton) {
    await nextPageButton.click();
}

5. **处理延迟**：为了确保所有内容都被加载，有时可能需要设置一些延时。

await page.waitForSelector('.loaded-content', { timeout: 5000 });