Node.js爬虫教程：使用request和cheerio模块

"Node.js制作小爬虫功能示例" 在本文中，我们将深入探讨如何使用Node.js构建一个简单的小型网络爬虫。首先，我们需要确保已经安装了Node.js环境，这是运行所有Node.js应用程序的基础。接下来，我们将安装两个重要的第三方模块——`request`和`cheerio`。 1. 安装Node.js: 在开始之前，你需要在计算机上安装Node.js。访问[Node.js官网](https://nodejs.org)下载并安装适合你操作系统的版本。安装完成后，你可以通过在命令行输入`node -v`来检查Node.js是否已经正确安装。 2. 安装需要的模块: Node.js的包管理器npm（Node Package Manager）允许我们轻松安装和管理依赖库。在项目目录中，打开终端或命令提示符，运行以下命令来安装`request`和`cheerio`模块： ``` npm install request cheerio ``` 3. 新建JS文件: 创建一个新的JavaScript文件，例如命名为`crawler.js`，这将是我们的爬虫脚本。 4. 引入模块: 在`crawler.js`文件中，我们导入`request`和`cheerio`模块： ```javascript const request = require("request"); const cheerio = require("cheerio"); ``` 5. 实现爬虫功能: 使用`request`模块发送HTTP请求到目标网页，这里以`news.dgut.edu.cn/dgut/xydt/news_list.shtml`为例。当请求成功返回时，我们使用`cheerio`解析HTML内容。`cheerio`类似于jQuery，可以方便地处理DOM元素： ```javascript request('news.dgut.edu.cn/dgut/xydt/news_list.shtml', function(err, res) { if (err) { console.log('请求出错'); } else { var $ = cheerio.load(res.body, { decodeEntities: false }); $('.listList').children('ul').children('li').each(function() { // 遍历li元素 var newsTitle = $(this).children('a').text(); // 获取a标签内的文字，即新闻标题 var newsTime = $(this).children('span').eq(1).text(); // 获取第二个span标签内的文字，即新闻时间 var newsUrl = "news.dgut.edu.cn" + $(this).children('a').attr('href'); // 获取a标签的href属性，即新闻链接 // 计算已爬取的记录数 item++; console.log("已爬取" + item + "条记录"); }); } }); ``` 在这个示例中，我们首先找到类名为`listList`的div下的所有li元素，并遍历它们。在每个li元素中，我们提取a标签的文本作为新闻标题，获取紧跟在第一个span元素后面的span元素的文本作为新闻时间，然后组合URL。最后，我们打印出已爬取的记录数。 6. 执行爬虫: 保存`crawler.js`文件后，在命令行中，导航到文件所在目录并运行： ``` node crawler.js ``` 这将执行爬虫，从指定的网页抓取新闻标题和时间，并在控制台输出。 这个简单的示例展示了Node.js制作小爬虫的基本流程，包括发送HTTP请求、解析HTML内容以及提取所需数据。在实际应用中，你可能需要对爬虫进行扩展，比如处理分页、存储数据到数据库、错误处理等。在开发爬虫时，要始终尊重网站的robots.txt规则，避免对服务器造成过大的负担。同时，考虑到网站结构可能会变化，建议编写更健壮的解析逻辑，以适应不同的HTML结构。