用python 写一个爬虫
时间: 2024-05-29 11:03:50 浏览: 131
好的,以下是一个简单的 Python 爬虫示例,可以爬取网页并提取其中的链接:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 要爬取的网页地址
# 发送 GET 请求
response = requests.get(url)
# 解析 HTML 页面
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的链接
links = soup.find_all('a')
# 输出所有的链接
for link in links:
print(link.get('href'))
```
需要注意的是,爬虫有一些法律和道德方面的规定和限制。在编写爬虫时,应该尊重网站的 robots.txt 文件中的规定,避免对网站造成过大的负担。另外,一些网站可能会采取反爬虫措施,需要谨慎处理。
阅读全文