写一个基于python的网页爬取的脚本
时间: 2024-04-30 13:21:39 浏览: 271
python网站爬数据脚本
5星 · 资源好评率100%
好的,以下是一个基于 Python 的网页爬取脚本示例:
```python
import requests
from bs4 import BeautifulSoup
# 发起 GET 请求获取页面内容
response = requests.get('https://www.example.com')
# 使用 BeautifulSoup 解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找页面中的所有链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
# 输出所有链接
for link in links:
print(link)
```
这个脚本使用了 `requests` 库来发起 GET 请求,使用 `BeautifulSoup` 库来解析页面内容。我们首先发起请求,然后使用 BeautifulSoup 解析页面内容,最后查找页面中的所有链接并输出。你可以根据自己的需求修改代码来获取其他信息或执行其他操作。
阅读全文