node 写一个爬虫 软件
时间: 2023-11-21 17:17:02 浏览: 103
nodejs简单实现一个爬虫代码
以下是一个简单的 Node.js 爬虫程序,用于从指定的网站上爬取数据并保存到本地文件中:
```javascript
const https = require('https');
const fs = require('fs');
// 爬取数据的 URL
const url = 'https://www.example.com';
// 发送 HTTP 请求,获取数据
https.get(url, (res) => {
let data = '';
res.on('data', (chunk) => {
data += chunk;
});
res.on('end', () => {
// 保存数据到本地文件
fs.writeFile('data.html', data, (err) => {
if (err) throw err;
console.log('Data saved to file!');
});
});
}).on('error', (err) => {
console.log('Error:', err.message);
});
```
以上代码使用 Node.js 的 `https` 模块发送 HTTP 请求,获取数据并将其保存到本地文件中。你可以根据自己的需求修改代码,例如更改爬取的 URL、更改保存数据的文件名、添加数据处理逻辑等。但需要注意的是,爬取数据时需要遵循网站的爬虫协议,不得违反相关法律法规。
阅读全文