SpringBoot中使用Jsoup爬取网站数据的方法_springboot获取网页内容,springboot解析网页 - CSDN文库

1星 165 浏览量更新于2023-03-16 评论 3 收藏 83KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

SpringBoot中使用中使用Jsoup爬取网站数据的方法爬取网站数据的方法

主要介绍了SpringBoot中使用Jsoup爬取网站数据的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起

学习学习吧

爬取数据

导入jar包

<properties>

<java.version>1.8</java.version>

<elasticsearch.version>7.6.1</elasticsearch.version>

</properties>

<dependencies>

<dependency>

<groupId>org.jsoup</groupId>

<artifactId>jsoup</artifactId>

<version>1.10.2</version>

</dependency>

<dependency>

<groupId>com.alibaba</groupId>

<artifactId>fastjson</artifactId>

<version>1.2.62</version>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-data-redis</artifactId>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-data-elasticsearch</artifactId>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-thymeleaf</artifactId>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-web</artifactId>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-devtools</artifactId>

<scope>runtime</scope>

<optional>true</optional>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-configuration-processor</artifactId>

<optional>true</optional>

</dependency>

<dependency>

<groupId>org.projectlombok</groupId>

<artifactId>lombok</artifactId>

<optional>true</optional>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-test</artifactId>

<scope>test</scope>

<exclusions>

<exclusion>

<groupId>org.junit.vintage</groupId>

<artifactId>junit-vintage-engine</artifactId>

</exclusion>

</exclusions>

</dependency>

</dependencies>

新建实体类

@Data

@NoArgsConstructor

@AllArgsConstructor

public class Content {

private String title;

private String img;

private String price;

}

编写爬虫工具类

public class HtmlParseUtil {

public static void main(String[] args) throws Exception {

new HtmlParseUtil().parseDDJJ("包").forEach(System.out::println);

}

public List<Content> parseDDJJ(String keywords) throws Exception {

//爬取url地址

String url = "https://search.xxxx.com/Search?keyword="+keywords;

//解析网页，30s内未爬取成功，打印错误

Document document = Jsoup.parse(new URL(url),30000);

//获取每一本书籍的id

Element element = document.getElementById("DJ_goodsList");

//获取所有的li标签

Elements elements = element.getElementsByTag("li");

ArrayList<Content> goodsList = new ArrayList<>();

//遍历li标签的内容

for (Element el : elements) {

String img = el.getElementsByTag("img").eq(0).attr("src");

String price = el.getElementsByClass("p-price").eq(0).text();

String title = el.getElementsByClass("p-name").eq(0).text();

Content content = new Content();

content.setTitle(title);

content.setPrice(price);

content.setImg(img);

goodsList.add(content);

}

return goodsList;

}

}

可以看到内容、图片、价格系数爬取

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论1

仲胖子

2021-10-19

给一星我都嫌多

weixin_38565818

粉丝: 3
资源: 956

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈