webmagic设置深度
时间: 2024-05-05 12:15:47 浏览: 72
webmagic实现深度配置
4星 · 用户满意度95%
WebMagic可以通过设置Spider对象的depth属性来设置爬取深度。
depth属性表示爬取的深度,默认值为Integer.MAX_VALUE,表示不限制深度。如果想限制爬取深度,可以将depth属性设置为期望的深度值。
例如,如果想爬取深度为2的页面,可以在创建Spider对象时设置depth属性为2:
```java
Spider spider = Spider.create(new MyPageProcessor())
.addUrl("http://www.example.com")
.thread(5)
.depth(2);
```
这样,爬虫就会在爬取到第二层页面后停止,不再继续向下爬取。
阅读全文