jsoup入门：HTML解析与网页抓取利器
需积分: 5 106 浏览量
更新于2024-09-11
收藏 180KB PDF 举报
Jsoup教程.pdf 是一份关于JavaScript库Jsoup的详细指南，该库主要用于网页分析和爬虫开发。Jsoup以其强大而灵活的功能，帮助开发者高效地处理HTML文档，特别是对于不完整或结构混乱的HTML内容。本教程的核心内容围绕以下几个关键知识点展开：
1. **HTML解析基础**：在学习过程中，首先介绍了HTML的基本结构，包括`<html>`, `<head>`, `<title>`, 和 `<body>`等元素。Jsoup的`Document`对象是解析HTML文档的基础，如`Jsoup.parse(html)`方法用于将HTML字符串转换成可操作的Document对象。
2. **解析与遍历**：教程强调了如何使用Jsoup解析HTML文档，例如通过`.getElementsByTagname()`, `.select()`, 或者CSS选择器来查找特定元素。示例代码展示了如何获取`<p>`标签下的文本，即使HTML结构不完整，Jsoup也能提供有效处理。
3. **处理不完整HTML**：Jsoup解析器的强大之处在于它能处理各种格式不规范的HTML，如缺失关闭标签的情况。如`<p>Lorem Ipsum`这样的例子，即使标签没有正确闭合，Jsoup仍能正确解析并提取内容，返回一个干净的文档结构。
4. **文档对象模型（DOM）操作**：教程深入讲解了如何使用Jsoup进行DOM操作，包括创建、添加、删除、修改元素，以及获取和设置属性值。这对于爬虫任务中的数据抽取和重构非常有用。
5. **性能优化与错误处理**：在实战应用中，如何提高解析速度和处理常见错误，如网络问题、编码问题等，也是教程的重要部分。读者可以学习到如何优雅地处理解析过程中的异常情况。
6. **实践案例与示例**：教程提供了丰富的示例，使读者可以通过实际操作加深对Jsoup的理解，比如抓取网站数据、提取表格数据等。
总结来说，Jsoup教程.pdf 是一个全面且实用的工具，适合希望学习如何利用JavaScript进行网页内容抓取、分析和清洗的开发者。通过学习，你可以掌握如何有效地处理各种HTML文档结构，以及如何编写健壮的爬虫程序。
解析和遍历一个 HTML
HTML
HTML
HTML 文档
如何解析一个 HTML
HTML
HTML
HTML 文档：
String
String
String
String html
html
html
html =
=
=
= "<html><head><title>First
"<html><head><title>First
"<html><head><title>First
"<html><head><title>First parse</title></head>"
parse</title></head>"
parse</title></head>"
parse</title></head>"
+
+
+
+ "<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed HTML
HTML
HTML
HTML into
into
into
into a
a
a
a doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
Document
Document
Document
Document doc
doc
doc
doc =
=
=
= Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
(
(
(
( 更详细内容可查看 解析一个 HTML
HTML
HTML
HTML 字符串 .)
.)
.)
.)
其解析器能够尽最大可能从你提供的 HTML
HTML
HTML
HTML 文档来创见一个干净的解析结果 ， 无论 HTM
HTM
HTM
HTM L
L
L
L
的格式是否完整。比如它可以处理：
没有关闭的标签 (
(
(
( 比如： <p>Lorem
<p>Lorem
<p>Lorem
<p>Lorem <p>Ipsum
<p>Ipsum
<p>Ipsum
<p>Ipsum parses
parses
parses
parses to
to
to
to <p>Lorem</p>
<p>Lorem</p>
<p>Lorem</p>
<p>Lorem</p> <p>Ipsum</p>)
<p>Ipsum</p>)
<p>Ipsum</p>)
<p>Ipsum</p>)
隐式标签 (
(
(
( 比如 .
.
.
. 它可以自动将 <td>Table
<td>Table
<td>Table
<td>Table data</td>
data</td>
data</td>
data</td> 包装成 <table><tr><td>?)
<table><tr><td>?)
<table><tr><td>?)
<table><tr><td>?)
创建可靠的文档结构（ html
html
html
html 标签包含 head
head
head
head 和 body
body
body
body ，在 head
head
head
head 只出现恰当的元素）
一个文档的对象模型
文档由多个 Elements
Elements
Elements
Elements 和 TextNodes
TextNodes
TextNodes
TextNodes 组成 (
(
(
( 以及其它辅助 nodes
nodes
nodes
nodes ： 详细可查看 ： nodes
nodes
nodes
nodes package
package
package
package
tree).
tree).
tree).
tree).
其继承结构如下： Document
Document
Document
Document 继承 Element
Element
Element
Element 继承 Node.
Node.
Node.
Node. TextNode
TextNode
TextNode
TextNode 继承 Node.
Node.
Node.
Node.
一个 Element
Element
Element
Element 包含一个子节点集合 ， 并拥有一个父 Element
Element
Element
Element 。 他们还提供了一个唯一的子元
素过滤列表。
解析一个 HTML
HTML
HTML
HTML 字符串
存在问题
来自用户输入 ， 一个文件或一个网站的 HTML
HTML
HTML
HTML 字符串 ， 你可能需要对它进行解析并取其内
容，或校验其格式是否完整，或想修改它。怎么办？ jsonu
jsonu
jsonu
jsonu 能够帮你轻松解决这些问题
解决方法
使用静态 Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String html)
html)
html)
html) 方法或 Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String
Jsoup.parse(String html,
html,
html,
html, String
String
String
String baseUri)
baseUri)
baseUri)
baseUri) 示例代
码：
String
String
String
String html
html
html
html =
=
=
= "<html><head><title>First
"<html><head><title>First
"<html><head><title>First
"<html><head><title>First parse</title></head>"
parse</title></head>"
parse</title></head>"
parse</title></head>"
+
+
+
+ "<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed
"<body><p>Parsed HTML
HTML
HTML
HTML into
into
into
into a
a
a
a doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
doc.</p></body></html>";
Document
Document
Document
Document doc
doc
doc
doc =
=
=
= Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
Jsoup.parse(html);
描述
parse(String
parse(String
parse(String
parse(String html,
html,
html,
html, String
String
String
String baseUri)
baseUri)
baseUri)
baseUri) 这方法能够将输入的 HTML
HTML
HTML
HTML 解析为一个新的文档
(Document
(Document
(Document
(Document ） ，参数 baseUri
baseUri
baseUri
baseUri 是用来将相对 URL
URL
URL
URL 转成绝对 URL
URL
URL
URL ，并指定从哪个网站获取
文档 。 如这个方法不适用 ， 你可以使用 parse(String
parse(String
parse(String
parse(String html)
html)
html)
html) 方法来解析成 HTML
HTML
HTML
HTML 字符串如
上面的示例。 .
.
.
.
只要解析的不是空字符串 ， 就能返回一个结构合理的文档 ， 其中包含 (
(
(
( 至少 )
)
)
) 一个 head
head
head
head 和一
个 body
body
body
body 元素。
下载后可阅读完整内容，剩余9页未读，立即下载
365 浏览量
108 浏览量
278 浏览量
120 浏览量
2022-10-29 上传
169 浏览量
2009-05-11 上传
2011-05-05 上传
2022-07-12 上传
飞翔蓝色天空
- 粉丝: 1
- 资源: 1
我的内容管理
展开
最新资源
- ISO+IEC+7816
- Definitive ANTLR Reference
- 开放源代码的计算机视觉类库OpenCv的应用
- Ubuntu全面详解.pdf
- 网上情侣商品专卖项目规划书.doc
- Linux 设备驱动 Edition3
- VC++程序设计期未复习提纲（整理版）
- 网络管理与控制技术网络管理与控制技术
- 网络视频点播系统论文
- 诺基亚N72手机设置
- 《C++6.0mfc编程实例》
- 诺基亚N72操作指南与应用
- Windows系统中如何高效运用组策略
- Tomcat+JSP经典配置实例
- 好书 《Ajax实战》(Ajax in action中文版) word版
- Oracle常用傻瓜问题1000问.txt
