Python BeautifulSoup与Selenium爬虫基础实战

需积分: 1 107 浏览量更新于2024-08-29 收藏 17KB DOCX 举报

在文档 "爬虫(bs,selenium)(1).docx" 中，主要讨论了Python编程语言中使用BeautifulSoup库进行网页爬取和解析的基本概念和技术。BeautifulSoup 是一个强大的工具，用于从HTML和XML文档中提取数据，特别适用于处理静态网页内容。首先，该文档引入了 `bs4` 模块，它是BeautifulSoup的别名，方便导入并开始网页解析。`from bs4 import BeautifulSoup` 这一行代码告诉Python从已安装的BeautifulSoup库中导入BeautifulSoup类，用于后续创建soup对象。 HTML示例代码展示了如何解析一个包含标题和链接的简单网页结构。通过 `html` 变量定义了一个HTML字符串，包含了 `<head>`、`<title>` 和 `<body>` 元素，以及具有类名（如 `.title`, `.story`, `.sister`）和id（如 `link1`, `link2`, `link3`）的 `` 和 `<a>` 标签。接下来，创建了一个 `BeautifulSoup` 对象 `soup`，传入 'lxml' 解析器。`prettify()` 方法被用来格式化输出解析后的HTML，使得代码更易读。文档重点讲解了两种选择器：节点选择器和方法选择器。 1. 节点选择器： - `soup.head` 选择文档的头部节点。 - `soup.title` 选择文档的<title>标签。 - `soup.title.string` 获取<title>标签内的文本内容。 - `soup.p` 选择文档中的第一个 `` 标签。 - `soup.p.name` 获取节点名称（在此例中为`'p'`）。 - `soup.p.attrs` 返回节点的所有属性，如`{'class': ['title'], 'name': 'dromouse', ...}`。 - `soup.p.attrs['name']` 获取特定属性值（例如`'dromouse'`）。 - `soup.body.p.b` 用于嵌套选择，选取`<body>`下的第一个``元素内的``标签。 2. 方法选择器： - `soup.find(name='p')` 找到第一个标签名为`'p'`的元素。 - `soup.find_all(name='p')` 找到所有``标签，返回一个列表。 - `type(soup.find_all(name='p')[0])` 判断返回结果的类型，通常是`Tag`，代表BeautifulSoup对象。通过这些选择器，开发者可以有效地定位网页中的特定元素，提取所需的数据，进一步进行数据分析或网页抓取。对于更复杂的网站，可能还需要结合其他库如Selenium（用于自动化浏览器操作）来应对动态加载内容或登录验证等场景。文档的核心内容是关于Python爬虫基础操作和BeautifulSoup库的使用技巧。

#!/usr/bin/env python

# coding: utf-8

# # beautifulsoup

# #

对网页进行解析

from bs4 import BeautifulSoup

html = """

<html><head><title>The Dormouse's

story</title></head>

<body>

The

Dormouse's story

Once upon a time there were

three little sisters; and their names were

<a href="http://example.com/elsie"

class="sister" id="link1">Elsie,</a>

<a href="http://example.com/lacie"

class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie"

class="sister" id="link3">Tillie</a>

and they lived at the bottom of a well.

下载后可阅读完整内容，剩余7页未读，立即下载

menglu503

粉丝: 1
资源: 2

Python BeautifulSoup与Selenium爬虫基础实战

爬虫开发案例分析.docx

python爬虫抓取网页数据.docx

Python网络爬虫实习报告总结归纳.docx

docker-compose --file selenium1.yml up -d ERROR: In file './selenium1.yml', service 'image' must be a mapping not a string. 这个报错如何处理？

selenium stealth.min.js

selenium Keys.END

from selenium import webdriver import time from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.common.action_chains import ActionChains # 读取操作excel表格 import openpyxl , 这些代码需要在很多地方使用, 如何

selenium.common.exceptions.NoSuchDriverException: Message: Unable to obtain driver for chrome using Selenium Manager.

selenium版本对应chrome

最新资源