使用node.js写一个爬虫
时间: 2023-11-14 10:01:58 浏览: 92
好的,我可以为您提供关于使用Node.js编写爬虫的指导和示例代码。您可以使用Node.js的request和cheerio模块来发起HTTP请求并解析HTML页面。以下是一个简单的示例代码:
```javascript
const request = require('request');
const cheerio = require('cheerio');
const url = 'http://www.example.com';
// 发起HTTP请求并获取HTML页面内容
request(url, (error, response, body) => {
if (error || response.statusCode !== 200) {
console.error('请求失败');
return;
}
// 使用cheerio解析HTML页面
const $ = cheerio.load(body);
const title = $('title').text();
console.log(title);
});
```
这个示例代码会发起一个HTTP请求获取指定URL的HTML内容,并提取页面的title标签内容。您可以根据需要修改代码,实现更复杂的爬虫功能。希望这可以帮助您开始使用Node.js编写爬虫。
阅读全文