用python写一个爬虫
时间: 2024-05-29 15:03:17 浏览: 73
好的,让我们来写一个简单的 Python 爬虫,以爬取一个网站上的所有图片。我们首先需要安装 requests 和 BeautifulSoup 这两个库。
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 网站地址
# 发送请求并获取响应
response = requests.get(url)
# 使用 BeautifulSoup 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找页面中所有的图片链接
img_links = soup.find_all('img')
# 遍历所有图片链接,并下载图片到本地
for link in img_links:
img_url = link.get('src')
if img_url.startswith('http'):
# 发送请求并获取图片内容
img_response = requests.get(img_url)
# 将图片保存到本地
with open(link.get('alt')+'.jpg', 'wb') as f:
f.write(img_response.content)
```
以上代码会在当前目录下下载网站上的所有图片,并将图片以链接中 alt 属性值为文件名保存到本地。需要注意的是,这个爬虫可能会下载重复的图片,需要根据实际需求进行修改。同时,爬虫的使用需要遵守相关法律法规和网站的规定,避免对网站造成影响。
阅读全文