node使用request爬虫设置延时爬取
时间: 2024-02-09 09:12:37 浏览: 94
基于node.js制作简单爬虫教程
在 Node.js 中,可以使用 `request` 模块来发送 HTTP 请求,并通过 `setTimeout` 函数设置延时爬取。以下是一个示例代码:
```javascript
const request = require('request');
// 设置请求间隔时间为1秒
const delay = 1000;
// 定义要爬取的网址
const url = 'https://www.example.com';
// 发送请求函数
function sendRequest() {
request(url, (error, response, body) => {
if (error) {
console.error('Error:', error);
} else {
console.log('Response:', response.statusCode);
}
// 设置延时
setTimeout(sendRequest, delay);
});
}
// 启动爬虫
sendRequest();
```
在上面的代码中,我们使用 `request` 模块来发送 HTTP 请求,并在回调函数中判断请求是否出错。无论请求成功或失败,都会调用 `setTimeout` 函数,实现了延时爬取的效果。
阅读全文