写一个python爬虫代码
时间: 2024-04-19 16:17:28 浏览: 102
以下是一个简单的Python爬虫代码,可以爬取指定网站的页面内容:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 指定要爬取的网址
response = requests.get(url) # 发送请求并获取响应
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的a标签并打印出其文本内容和链接
for link in soup.find_all('a'):
print(link.text, link.get('href'))
```
请注意,在使用爬虫之前要确保你有合法的授权和权限,并且尊重网站的隐私政策和使用条款。
阅读全文