springBoot+webMagic实现网站爬虫的实例代码_springboot+webmagic,springbootwebmagic

199 浏览量更新于2023-03-03 1 收藏 82KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

springBoot+webMagic实现网站爬虫的实例代码实现网站爬虫的实例代码

主要介绍了springBoot+webMagic实现网站爬虫的实例代码，文中通过示例代码介绍的非常详细，对大家的学习

或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

前端时间公司项目需要抓取各类数据，py玩的不6，只好研究Java爬虫方案，做一个总结。

开发环境：开发环境：

springBoot 2.2.6、jdk1.8。

1、导入依赖、导入依赖

<groupId>us.codecraft</groupId>

<artifactId>webmagic-core</artifactId>

</dependency>

<groupId>us.codecraft</groupId>

<artifactId>webmagic-extension</artifactId>

</dependency>

<groupId>com.google.guava</groupId>

<artifactId>guava</artifactId>

</dependency>

话不多说，直接上代码。

基础案例基础案例

下面代码说明以一个类似列表的页面为例

package com.crawler.project.proTask;

import com.alibaba.fastjson.JSONObject;

import org.springframework.scheduling.annotation.Scheduled;

import us.codecraft.webmagic.Page;

import us.codecraft.webmagic.Site;

import us.codecraft.webmagic.Spider;

import us.codecraft.webmagic.processor.PageProcessor;

import us.codecraft.webmagic.scheduler.BloomFilterDuplicateRemover;

import us.codecraft.webmagic.scheduler.QueueScheduler;

import us.codecraft.webmagic.selector.Selectable;

import java.util.List;

public class TaskProcessor implements PageProcessor {

* 此方法为爬虫业务实现

* */

@Override

public void process(Page page) {

//1、爬虫任务获取到一个page 解析page上的列表

List<Selectable> list = page.getHtml().css("css selector").nodes();

if (list.size() > 0){//说明为列表页面、需要解析列表中每个元素的链接，存入待获取page队列中

for (Selectable selectable : list) {

//遍历集合，将每个元素链接存入待获取page队列中

page.addTargetRequest(selectable.links().toString());

}

//同时将下一页的url存入队列中

page.addTargetRequest("下一页的url");

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余6页未读，立即下载

weixin_38733245

粉丝: 4
资源: 894

会员权益专享

springBoot+webMagic实现网站爬虫的实例代码

SpringBoot+JPA+WebMagic

spring boot 整合爬虫框架webmagic，并将数据存储到数据库

爬虫基于Springboot+WebMagic+Mybatis+多数据源

springboot+webmagic+mybatis

SpringBoot+ThreadPoolTaskExecutor+mybatis-plus

springboot整个webmagic

springboot项目实现反爬虫

springboot项目如何实现反爬虫功能

springboot整合webmagic

springboot 整合 WebMagic

springboot集成webmagic

通过爬虫获取博客编程题内容保存到数据库，在基于springboot+vue框架的Java编程题自动评分项目中，设计数据库

为什么选择httpclient+jsoup框架进行爬虫模块的设计，而不是只用一种框架

python网络爬虫实例代码

springboot实现java爬虫

基于scrapy + requestst + 代理池 + cookies 池 + 写一个爬虫项目详细描述

python爬虫实例代码300行

webmagic垂直式爬虫

webmagic实现爬虫

会员权益专享

最新资源