使用jsoup高效解析和操作HTML
需积分: 5 151 浏览量
更新于2024-09-13
收藏 180KB PDF 举报
"jsoup是一款Java库，专门用于解析HTML并提供方便的数据提取和操作功能。它通过DOM、CSS选择器以及类似jQuery的方法使开发者能够高效地处理网页内容。jsoup不仅能解析HTML文档，还支持从URL直接获取内容，非常适合进行网页抓取任务。其强大的解析引擎能自动修复不完整的HTML结构，保证了解析结果的整洁和准确。"
在深入探讨jsoup之前，让我们先理解一下HTML解析的基本概念。HTML（超文本标记语言）是构建网页的主要语言，由各种标签构成，用于定义网页结构和内容。解析HTML就是将HTML代码转换成可以理解和操作的结构化数据。
jsoup的核心功能是解析HTML文档，它提供了`Jsoup.parse()`方法，可以将HTML字符串转换成`Document`对象。例如：
```java
String html = "<html><head><title>First parse</title></head><body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);
```
在这个例子中，`html`字符串被解析成一个`Document`对象，这使得我们可以通过DOM结构或者CSS选择器来访问和修改HTML元素。
jsoup的解析器非常智能，即使遇到不规范的HTML（如未闭合的标签），它也能尽可能地修复并创建一个符合语法规则的文档树。例如，如果HTML代码中存在`<p>Lorem<p>Ipsum`这样的错误结构，jsoup会自动补全为`<p>Lorem</p><p>Ipsum</p>`。
在`Document`对象上，你可以执行多种操作，包括查询元素、提取文本、修改属性等。例如，使用CSS选择器获取网页标题：
```java
Element title = doc.select("title").first();
System.out.println(title.text()); // 输出 "First parse"
```
或者，如果你想修改某个元素的内容，可以直接操作选中的元素：
```java
Elements paragraphs = doc.select("p");
paragraphs.first().text("New text for the first paragraph.");
```
此外，jsoup还支持直接从URL抓取和解析网页内容：
```java
Document doc = Jsoup.connect("http://example.com").get();
```
这行代码会连接到指定的URL，并将返回的HTML内容解析成`Document`对象。
总结来说，jsoup是一款强大的工具，它使得Java开发者可以轻松地处理HTML，进行网页抓取，提取数据，甚至进行简单的数据清洗和格式化。它的API简洁易用，类似jQuery的语法大大降低了学习成本，是进行Web数据处理的得力助手。
解析和遍历一个 HTML
HTML
HTML
HTML 文档
如何解析一个 HTML
HTML
HTML
HTML 文档：
String
String
String
String html
html
html
html =
=
=
= "<html><head><title>First
"<html><head><title>First
"<html><head><title>First
"<html><head><title>First parse</title></head>"
parse</title></head>"
parse</title></head>"
parse</title></head>"
+
+
+
+ "<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed HTML
HTML
HTML
HTML into
into
into
into a
a
a
a doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
Document
Document
Document
Document doc
doc
doc
doc =
=
=
= Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
(
(
(
( 更详细内容可查看 解析一个 HTML
HTML
HTML
HTML 字符串 .)
.)
.)
.)
其解析器能够尽最大可能从你提供的 HTML
HTML
HTML
HTML 文档来创见一个干净的解析结果 ， 无论 HTM
HTM
HTM
HTM L
L
L
L
的格式是否完整。比如它可以处理：
没有关闭的标签 (
(
(
( 比如： <p>Lorem
<p>Lorem
<p>Lorem
<p>Lorem <p>Ipsum
<p>Ipsum
<p>Ipsum
<p>Ipsum parses
parses
parses
parses to
to
to
to <p>Lorem</p>
<p>Lorem</p>
<p>Lorem</p>
<p>Lorem</p> <p>Ipsum</p>)
<p>Ipsum</p>)
<p>Ipsum</p>)
<p>Ipsum</p>)
隐式标签 (
(
(
( 比如 .
.
.
. 它可以自动将 <td>Table
<td>Table
<td>Table
<td>Table data</td>
data</td>
data</td>
data</td> 包装成 <table><tr><td>?)
<table><tr><td>?)
<table><tr><td>?)
<table><tr><td>?)
创建可靠的文档结构（ html
html
html
html 标签包含 head
head
head
head 和 body
body
body
body ，在 head
head
head
head 只出现恰当的元素）
一个文档的对象模型
文档由多个 Elements
Elements
Elements
Elements 和 TextNodes
TextNodes
TextNodes
TextNodes 组成 (
(
(
( 以及其它辅助 nodes
nodes
nodes
nodes ： 详细可查看 ： nodes
nodes
nodes
nodes package
package
package
package
tree).
tree).
tree).
tree).
其继承结构如下： Document
Document
Document
Document 继承 Element
Element
Element
Element 继承 Node.
Node.
Node.
Node. TextNode
TextNode
TextNode
TextNode 继承 Node.
Node.
Node.
Node.
一个 Element
Element
Element
Element 包含一个子节点集合 ， 并拥有一个父 Element
Element
Element
Element 。 他们还提供了一个唯一的子元
素过滤列表。
解析一个 HTML
HTML
HTML
HTML 字符串
存在问题
来自用户输入 ， 一个文件或一个网站的 HTML
HTML
HTML
HTML 字符串 ， 你可能需要对它进行解析并取其内
容，或校验其格式是否完整，或想修改它。怎么办？ jsonu
jsonu
jsonu
jsonu 能够帮你轻松解决这些问题
解决方法
使用静态 Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String html)
html)
html)
html) 方法或 Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String html,
html,
html,
html, String
String
String
String baseUri)
baseUri)
baseUri)
baseUri) 示例代
码：
String
String
String
String html
html
html
html =
=
=
= "<html><head><title>First
"<html><head><title>First
"<html><head><title>First
"<html><head><title>First parse</title></head>"
parse</title></head>"
parse</title></head>"
parse</title></head>"
+
+
+
+ "<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed HTML
HTML
HTML
HTML into
into
into
into a
a
a
a doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
Document
Document
Document
Document doc
doc
doc
doc =
=
=
= Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
描述
parse(String
parse(String
parse(String
parse(String html,
html,
html,
html, String
String
String
String baseUri)
baseUri)
baseUri)
baseUri) 这方法能够将输入的 HTML
HTML
HTML
HTML 解析为一个新的文档
(Document
(Document
(Document
(Document ） ，参数 baseUri
baseUri
baseUri
baseUri 是用来将相对 URL
URL
URL
URL 转成绝对 URL
URL
URL
URL ，并指定从哪个网站获取
文档 。 如这个方法不适用 ， 你可以使用 parse(String
parse(String
parse(String
parse(String html)
html)
html)
html) 方法来解析成 HTML
HTML
HTML
HTML 字符串如
上面的示例。 .
.
.
.
只要解析的不是空字符串 ， 就能返回一个结构合理的文档 ， 其中包含 (
(
(
( 至少 )
)
)
) 一个 head
head
head
head 和一
个 body
body
body
body 元素。
下载后可阅读完整内容，剩余9页未读，立即下载
2013-12-06 上传
2022-06-05 上传
2012-08-01 上传
2017-08-10 上传
2018-01-04 上传
257 浏览量
liuq21_67
- 粉丝: 1
- 资源: 2
我的内容管理
展开
最新资源
- MATLAB新功能：Multi-frame ViewRGB制作彩色图阴影
- XKCD Substitutions 3-crx插件：创新的网页文字替换工具
- Python实现8位等离子效果开源项目plasma.py解读
- 维护商店移动应用：基于PhoneGap的移动API应用
- Laravel-Admin的Redis Manager扩展使用教程
- Jekyll代理主题使用指南及文件结构解析
- cPanel中PHP多版本插件的安装与配置指南
- 深入探讨React和Typescript在Alias kopio游戏中的应用
- node.js OSC服务器实现：Gibber消息转换技术解析
- 体验最新升级版的mdbootstrap pro 6.1.0组件库
- 超市盘点过机系统实现与delphi应用
- Boogle: 探索 Python 编程的 Boggle 仿制品
- C++实现的Physics2D简易2D物理模拟
- 傅里叶级数在分数阶微分积分计算中的应用与实现
- Windows Phone与PhoneGap应用隔离存储文件访问方法
- iso8601-interval-recurrence：掌握ISO8601日期范围与重复间隔检查
