Python BeautifulSoup与Selenium爬虫基础实战

需积分: 1 0 下载量 107 浏览量 更新于2024-08-29 收藏 17KB DOCX 举报
在文档 "爬虫(bs,selenium)(1).docx" 中,主要讨论了Python编程语言中使用BeautifulSoup库进行网页爬取和解析的基本概念和技术。BeautifulSoup 是一个强大的工具,用于从HTML和XML文档中提取数据,特别适用于处理静态网页内容。 首先,该文档引入了 `bs4` 模块,它是BeautifulSoup的别名,方便导入并开始网页解析。`from bs4 import BeautifulSoup` 这一行代码告诉Python从已安装的BeautifulSoup库中导入BeautifulSoup类,用于后续创建soup对象。 HTML示例代码展示了如何解析一个包含标题和链接的简单网页结构。通过 `html` 变量定义了一个HTML字符串,包含了 `<head>`、`<title>` 和 `<body>` 元素,以及具有类名(如 `.title`, `.story`, `.sister`)和id(如 `link1`, `link2`, `link3`)的 `<p>` 和 `<a>` 标签。 接下来,创建了一个 `BeautifulSoup` 对象 `soup`,传入 'lxml' 解析器。`prettify()` 方法被用来格式化输出解析后的HTML,使得代码更易读。 文档重点讲解了两种选择器:节点选择器和方法选择器。 1. 节点选择器: - `soup.head` 选择文档的头部节点。 - `soup.title` 选择文档的<title>标签。 - `soup.title.string` 获取<title>标签内的文本内容。 - `soup.p` 选择文档中的第一个 `<p>` 标签。 - `soup.p.name` 获取节点名称(在此例中为`'p'`)。 - `soup.p.attrs` 返回节点的所有属性,如`{'class': ['title'], 'name': 'dromouse', ...}`。 - `soup.p.attrs['name']` 获取特定属性值(例如`'dromouse'`)。 - `soup.body.p.b` 用于嵌套选择,选取`<body>`下的第一个`<p>`元素内的`<b>`标签。 2. 方法选择器: - `soup.find(name='p')` 找到第一个标签名为`'p'`的元素。 - `soup.find_all(name='p')` 找到所有`<p>`标签,返回一个列表。 - `type(soup.find_all(name='p')[0])` 判断返回结果的类型,通常是`Tag`,代表BeautifulSoup对象。 通过这些选择器,开发者可以有效地定位网页中的特定元素,提取所需的数据,进一步进行数据分析或网页抓取。对于更复杂的网站,可能还需要结合其他库如Selenium(用于自动化浏览器操作)来应对动态加载内容或登录验证等场景。文档的核心内容是关于Python爬虫基础操作和BeautifulSoup库的使用技巧。