用python写一个爬虫
时间: 2024-05-29 13:03:17 浏览: 16
好的,让我们来写一个简单的 Python 爬虫,以爬取一个网站上的所有图片。我们首先需要安装 requests 和 BeautifulSoup 这两个库。
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com' # 网站地址
# 发送请求并获取响应
response = requests.get(url)
# 使用 BeautifulSoup 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找页面中所有的图片链接
img_links = soup.find_all('img')
# 遍历所有图片链接,并下载图片到本地
for link in img_links:
img_url = link.get('src')
if img_url.startswith('http'):
# 发送请求并获取图片内容
img_response = requests.get(img_url)
# 将图片保存到本地
with open(link.get('alt')+'.jpg', 'wb') as f:
f.write(img_response.content)
```
以上代码会在当前目录下下载网站上的所有图片,并将图片以链接中 alt 属性值为文件名保存到本地。需要注意的是,这个爬虫可能会下载重复的图片,需要根据实际需求进行修改。同时,爬虫的使用需要遵守相关法律法规和网站的规定,避免对网站造成影响。
相关推荐
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)