使用webmagic，爬虫CSDN个人博客中详情页的内容，并保存到本地
时间: 2024-05-14 09:12:19 浏览: 103
以下是一个示例代码，可以爬取CSDN个人博客中最新的10篇文章的标题、发布时间、正文内容，并保存到本地文件中。
```java
import java.io.FileWriter;
import java.io.IOException;
import java.util.List;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
public class CSDNBlogProcessor implements PageProcessor {
private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
@Override
public Site getSite() {
return site;
}
@Override
public void process(Page page) {
Document document = page.getHtml().getDocument();
Elements titleElements = document.select(".title-article");
String title = titleElements.first().text();
String date = titleElements.last().text();
String content = document.select("#article_content").html();
page.putField("title", title);
page.putField("date", date);
page.putField("content", content);
}
public static void main(String[] args) throws IOException {
Spider spider = Spider.create(new CSDNBlogProcessor())
.addUrl("https://blog.csdn.net/username/article/list")
.addPipeline(new FilePipeline("D:/csdn_blog"))
.thread(5);
spider.run();
}
public static class FilePipeline implements Pipeline {
private String path;
public FilePipeline(String path) {
this.path = path;
}
@Override
public void process(ResultItems resultItems, Task task) {
String title = resultItems.get("title");
String date = resultItems.get("date");
String content = resultItems.get("content");
String fileName = title + ".html";
try (FileWriter writer = new FileWriter(path + "/" + fileName)) {
writer.write("<html><head><title>" + title + "</title><meta charset=\"utf-8\"></head><body>");
writer.write("<h1>" + title + "</h1>");
writer.write("<p>" + date + "</p>");
writer.write(content);
writer.write("</body></html>");
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
```
说明：
- 在`process`方法中，首先使用Jsoup选择器获取标题、日期、正文内容，并将其保存到`ResultItems`对象中。
- 然后，在`main`方法中，使用`Spider`对象构建爬虫，设置起始URL、线程数、结果处理器（本示例中使用自定义的`FilePipeline`），并启动爬虫。
- 在自定义的`FilePipeline`中，从`ResultItems`对象中获取文章的标题、日期、正文内容，并将其写入到本地文件中。在写入HTML文件时，需要手动添加HTML标签，保证正文内容可以正常显示。
注意：
- 在示例代码中，需要将`username`替换为实际的CSDN用户名。
- 需要将`D:/csdn_blog`替换为实际的保存路径。
相关推荐
最新推荐
python制作爬虫并将抓取结果保存到excel中
在本篇【Python制作爬虫并将抓取结果保存到Excel中】的文章中，作者通过实践展示了如何使用Python来抓取拉勾网上的招聘信息并存储到Excel文件中。首先，我们需要理解爬虫的基本工作原理，即分析网站的请求过程。通过...
Python爬虫之Scrapy（爬取csdn博客）
本教程将引导你如何使用Scrapy来爬取CSDN博客上的信息，包括博客标题、时间、链接以及内容摘要。 1. **安装Scrapy** Scrapy的安装通常可以通过Python的包管理器pip来完成。在命令行中输入`pip install scrapy`即可...
springBoot+webMagic实现网站爬虫的实例代码
在这个方法中，我们可以使用WebMagic提供的方法来爬取页面，并将爬取到的数据进行处理。 知识点四：爬虫任务的调度 爬虫任务的调度是通过Spider类来完成的。在这个类中，我们可以设置爬虫任务的调度策略，例如设置...
Python爬虫进阶之多线程爬取数据并保存到数据库
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APP...
python智联招聘爬虫并导入到excel代码实例
本实例将介绍如何利用Python编写一个智联招聘的网络爬虫，抓取指定职位的关键字信息，并将数据保存到Excel表格中。 首先，我们需要导入必要的库。`requests`库用于发送HTTP请求，`openpyxl`库则用于创建和操作Excel...
AirKiss技术详解：无线传递信息与智能家居连接
AirKiss原理是一种创新的信息传输技术，主要用于解决智能设备与外界无物理连接时的网络配置问题。传统的设备配置通常涉及有线或无线连接，如通过路由器的Web界面输入WiFi密码。然而，AirKiss技术简化了这一过程，允许用户通过智能手机或其他移动设备，无需任何实际连接，就能将网络信息（如WiFi SSID和密码）“隔空”传递给目标设备。
具体实现步骤如下：
1. **AirKiss工作原理示例**：智能插座作为一个信息孤岛，没有物理连接，通过AirKiss技术，用户的微信客户端可以直接传输SSID和密码给插座，插座收到这些信息后，可以自动接入预先设置好的WiFi网络。
2. **传统配置对比**：以路由器和无线摄像头为例，常规配置需要用户手动设置：首先，通过有线连接电脑到路由器，访问设置界面输入运营商账号和密码；其次，手机扫描并连接到路由器，进行子网配置；最后，摄像头连接家庭路由器后，会自动寻找厂商服务器进行心跳包发送以保持连接。
3. **AirKiss的优势**：AirKiss技术简化了配置流程，减少了硬件交互，特别是对于那些没有显示屏、按键或网络连接功能的设备（如无线摄像头），用户不再需要手动输入复杂的网络设置，只需通过手机轻轻一碰或发送一条消息即可完成设备的联网。这提高了用户体验，降低了操作复杂度，并节省了时间。
4. **应用场景扩展**：AirKiss技术不仅适用于智能家居设备，也适用于物联网(IoT)场景中的各种设备，如智能门锁、智能灯泡等，只要有接收AirKiss信息的能力，它们就能快速接入网络，实现远程控制和数据交互。
AirKiss原理是利用先进的无线通讯技术，结合移动设备的便利性，构建了一种无需物理连接的设备网络配置方式，极大地提升了物联网设备的易用性和智能化水平。这种技术在未来智能家居和物联网设备的普及中，有望发挥重要作用。
管理建模和仿真的文件
管理Boualem Benatallah引用此版本：布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学，1996年。法语。NNT：电话：00345357HAL ID：电话：00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
交叉验证全解析：数据挖掘中的黄金标准与优化策略
# 1. 交叉验证的基本概念和重要性
## 1.1 交叉验证的定义
交叉验证是一种统计方法，用于评估并改进机器学习模型的泛化能力。它通过将数据集分为几个小的“折”（或称为“子集”），然后迭代使用这些数据子集来训练和测试模型，从而得到模型性能的更准确估计。
## 1.2 交叉验证的重要性
在机器学习过程中，我们通常面临一个重要的问题：模型可能对训练数据过度拟合，而不能很好地推广到新数据
在交换机上创建 VLAN10、VLAN20和VLAN30，将交换机 B 的 2-5 接口加入到 VLAN 10 中 用ensp写出配置命令
在交换机上配置VLAN并分配接口到特定的VLAN中，通常需要登录到交换机的命令行界面。以下是在华为交换机上使用eNSP（Enterprise Network Simulation Platform，企业网络模拟平台）模拟器进行VLAN配置的基本步骤和命令：
首先，进入系统视图：
```
system-view
```
然后创建VLAN10、VLAN20和VLAN30：
```
vlan 10
vlan 20
vlan 30
```
接下来，将交换机B的2到5端口加入到VLAN10中，假设交换机B的接口编号为GigabitEthernet0/0/2至GigabitEthernet0/0/5
Hibernate主键生成策略详解
"Hibernate各种主键生成策略与配置详解"
在关系型数据库中，主键是表中的一个或一组字段，用于唯一标识一条记录。在使用Hibernate进行持久化操作时，主键的生成策略是一个关键的配置，因为它直接影响到数据的插入和管理。以下是Hibernate支持的各种主键生成策略的详细解释：
1. assigned: 这种策略要求开发者在保存对象之前手动设置主键值。Hibernate不参与主键的生成，因此这种方式可以跨数据库，但并不推荐，因为可能导致数据一致性问题。
2. increment: Hibernate会从数据库中获取当前主键的最大值，并在内存中递增生成新的主键。由于这个过程不依赖于数据库的序列或自增特性，它可以跨数据库使用。然而，当多进程并发访问时，可能会出现主键冲突，导致Duplicate entry错误。
3. hilo: Hi-Lo算法是一种优化的增量策略，它在一个较大的范围内生成主键，减少数据库交互。在每个session中，它会从数据库获取一个较大的范围，然后在内存中分配，降低主键碰撞的风险。
4. seqhilo: 类似于hilo，但它使用数据库的序列来获取范围，适合Oracle等支持序列的数据库。
5. sequence: 这个策略依赖于数据库提供的序列，如Oracle、PostgreSQL等，直接使用数据库序列生成主键，保证全局唯一性。
6. identity: 适用于像MySQL这样的数据库，它们支持自动增长的主键。Hibernate在插入记录时让数据库自动为新行生成主键。
7. native: 根据所连接的数据库类型，自动选择最合适的主键生成策略，如identity、sequence或hilo。
8. uuid: 使用UUID算法生成128位的唯一标识符，适用于分布式环境，无需数据库支持。
9. guid: 类似于uuid，但根据不同的实现可能会有所不同，通常在Windows环境下生成的是GUID字符串。
10. foreign: 通过引用另一个表的主键来生成当前表的主键，适用于关联实体的情况。
11. select: 在插入之前，通过执行SQL查询来获取主键值，这种方式需要开发者提供定制的SQL语句。
12. 注释方式配置: 可以通过在Java实体类的@Id和@GeneratedValue注解中指定generator属性来配置自定义的主键生成策略。
13. 小结: Hibernate的主键生成策略选择应基于数据库特性、性能需求以及是否需要跨数据库兼容等因素。在实际应用中，需要根据项目具体需求选择最适合的策略。
注意，合理选择主键生成策略对于数据库性能和数据一致性至关重要。例如，increment策略在多进程环境下可能会出现问题，而sequence和identity策略则更安全，但可能不适合所有数据库系统。因此，开发者应充分理解每种策略的优缺点，并结合实际情况作出决策。