node编写一个爬虫
时间: 2023-02-06 10:27:35 浏览: 124
好的,这是一个使用 Node.js 编写爬虫的简单示例:
首先,使用 Node.js 的 HTTP 模块发起一个 GET 请求来获取网页内容。
```
const https = require('https');
https.get('https://www.example.com', (res) => {
res.on('data', (d) => {
process.stdout.write(d);
});
}).on('error', (e) => {
console.error(e);
});
```
接下来,我们可以使用类似于 jQuery 的工具,比如 cheerio,来解析 HTML 内容,并从中提取我们需要的信息。
```
const cheerio = require('cheerio');
https.get('https://www.example.com', (res) => {
let html = '';
res.on('data', (data) => {
html += data;
});
res.on('end', () => {
const $ = cheerio.load(html);
console.log($('title').text());
});
}).on('error', (e) => {
console.error(e);
});
```
最后,我们可以使用 Node.js 的文件模块将提取到的信息保存到文件中,或者将它们存储到数据库中。
```
const fs = require('fs');
https.get('https://www.example.com', (res) => {
let html = '';
res.on('data', (data) => {
html += data;
});
res.on('end', () => {
const $ = cheerio.load(html);
const title = $('title').text();
fs.writeFile('title.txt', title, (err) => {
if (err) {
console.error(err);
} else {
console.log('File saved.');
}
});
});
}).on('error', (e) => {
console.error(e);
});
```
希望这些信息能帮到你。
阅读全文