beautifulsoup爬虫简短代码
时间: 2024-06-13 11:01:40 浏览: 188
使用Python的BeautifulSoup库的简单爬虫示例.txt
BeautifulSoup是一个Python的库,用于从HTML和XML文件中提取数据。下面是一个简单的使用BeautifulSoup的爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到页面中的所有链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
# 找到页面中的所有图片
images = []
for img in soup.find_all('img'):
images.append(img.get('src'))
# 找到页面中的所有段落
paragraphs = []
for p in soup.find_all('p'):
paragraphs.append(p.get_text())
# 输出结果
print(links)
print(images)
print(paragraphs)
```
这个代码使用了requests库来获取网页内容,使用BeautifulSoup库来解析HTML文档,并使用find_all方法来找到页面中的所有链接、图片和段落。最后输出结果,可以根据需求进行进一步处理。
阅读全文