puppeteer 爬虫代码
时间: 2024-06-21 22:02:01 浏览: 10
Puppeteer 是一个由 Google Chrome 团队开发的 Node.js 库,它提供了一个高级 API 来通过 DevTools 协议控制一个无头 Chrome 或 Chromium 浏览器的实例,从而可以用来实现各种自动化任务,例如网页截图、模拟表单提交、爬取数据等等。以下是一个简单的 Puppeteer 爬虫代码示例:
```
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://www.example.com');
// 获取页面标题
const title = await page.title();
console.log(`页面标题为:${title}`);
// 获取页面 HTML
const html = await page.content();
console.log(`页面 HTML 为:${html}`);
// 获取页面所有链接
const links = await page.evaluate(() => {
return Array.from(document.querySelectorAll('a')).map(a => a.href);
});
console.log(`页面所有链接为:${links}`);
await browser.close();
})();
```
上述代码使用 Puppeteer 打开了一个无头浏览器,并跳转到了 https://www.example.com 页面,然后获取了页面标题、页面 HTML 和所有链接,并在控制台输出了结果。当然,这只是 Puppeteer 爬虫的一个简单示例,Puppeteer 还有很多其他强大的功能可以用来实现更复杂的爬虫任务。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)