python 爬虫url下载图片
时间: 2024-08-17 22:01:35 浏览: 34
在Python中,爬取网页并下载图片通常通过requests库获取网页内容,然后解析HTML找到图片链接,再使用BeautifulSoup或lxml等库进行解析,最后使用urllib或者os、openpyxl等模块将图片保存到本地。
以下是一个简单的示例:
```python
import requests
from bs4 import BeautifulSoup
def download_image(url):
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析响应内容为HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 找到图片元素,这里假设img标签内的src属性就是图片URL
img_tags = soup.find_all('img')
for img_tag in img_tags:
img_url = img_tag['src']
# 构建完整的图片下载地址
full_img_url = urljoin(url, img_url) # 使用urljoin拼接完整URL防止相对路径错误
# 下载图片,这里可以自定义文件名
filename = 'image_' + img_url.split('/')[-1]
with open(filename, 'wb') as f:
response = requests.get(full_img_url)
f.write(response.content)
# 示例
url_to_crawl = 'http://example.com' # 需要爬取的网站
download_image(url_to_crawl)
```
在这个例子中,你需要安装`requests`, `beautifulsoup4`库,如果没装的话可以用`pip install requests beautifulsoup4`命令来安装。