怎样使用beautifulsoup中find_all方法
时间: 2024-06-09 16:09:17 浏览: 119
python 如何使用find和find_all爬虫、找文本的实现
5星 · 资源好评率100%
使用 `find_all()` 方法可以在 HTML 或 XML 文档中查找特定标签的所有实例。以下是使用 `find_all()` 方法的一般语法:
```python
find_all(name, attrs, recursive, string, limit, **kwargs)
```
参数说明:
- `name`: 可以是标签的字符串名称、标签的正则表达式、列表或函数。
- `attrs`: 可以是一个字典或一个关键字参数,表示标签的属性的名称和值。
- `recursive`: 是否递归查找子标签。默认为 True。
- `string`: 可以是标签的字符串名称、标签的正则表达式、列表或函数。
- `limit`: 返回找到的结果的最大数量。默认为 None,即返回所有结果。
- `**kwargs`: 其他关键字参数可以用来指定标签的其他属性和值。
以下是一个例子,使用 `find_all()` 方法查找 HTML 文档中的所有 `<a>` 标签:
```python
from bs4 import BeautifulSoup
html_doc = """
<html>
<head>
<title>BeautifulSoup Example</title>
</head>
<body>
<div>
<a href="http://www.google.com">Google</a>
<a href="http://www.baidu.com">Baidu</a>
<a href="http://www.yahoo.com">Yahoo</a>
</div>
</body>
</html>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'), link.string)
```
以上代码将输出以下结果:
```
http://www.google.com Google
http://www.baidu.com Baidu
http://www.yahoo.com Yahoo
```
阅读全文