nodejs爬取豆瓣
时间: 2023-11-14 13:09:18 浏览: 246
python-crawler-douban:豆瓣综合爬虫,使用 `Python-3.7 + Scrapy-1.5` 构建,含豆瓣电影、豆瓣读书、豆瓣音乐三类Top250内容爬取及短评爬取
可以使用 Node.js 中的 request 和 cheerio 模块来实现爬取豆瓣网站的数据。具体步骤如下:
1. 安装 request 和 cheerio 模块:
```
npm install request cheerio
```
2. 使用 request 模块发送请求,获取网页内容:
```javascript
const request = require('request');
request('https://movie.douban.com/top250', (error, response, body) => {
if (!error && response.statusCode == 200) {
console.log(body);
}
});
```
3. 使用 cheerio 模块解析网页内容,获取需要的数据:
```javascript
const request = require('request');
const cheerio = require('cheerio');
request('https://movie.douban.com/top250', (error, response, body) => {
if (!error && response.statusCode == 200) {
const $ = cheerio.load(body);
$('div.item').each((i, element) => {
const title = $(element).find('span.title').text();
console.log(title);
});
}
});
```
以上代码可以获取豆瓣电影 Top250 的电影名称。
阅读全文