https://car.autohome.com.cn/pic/index.html#pvareaid=3311245 编写一个python程序使用爬虫 从该网页上下载汽车图片
时间: 2024-02-04 18:03:20 浏览: 182
以下是一个使用爬虫从汽车之家网站上下载汽车图片的 Python 程序:
```python
import requests
import os
from bs4 import BeautifulSoup
url = "https://car.autohome.com.cn/pic/index.html#pvareaid=3311245"
save_folder = "car_images"
if not os.path.exists(save_folder):
os.makedirs(save_folder)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36"}
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.content, "html.parser")
image_tags = soup.find_all("img", class_="lazy")
for i, image_tag in enumerate(image_tags):
try:
image_url = image_tag["data-original"]
response = requests.get(image_url, headers=headers, timeout=10)
if response.status_code == 200:
with open(os.path.join(save_folder, "{}.jpg".format(i)), "wb") as f:
f.write(response.content)
except:
pass
```
该程序首先定义了一个汽车之家网站的 URL 和一个保存图片的文件夹名称 `save_folder`。然后通过发送一个 GET 请求获取网站的 HTML 内容,并使用 BeautifulSoup 库解析 HTML。接着,程序遍历所有的图片标签,提取出图片的 URL,依次下载并保存到指定的文件夹中。
需要注意的是,该程序仍然是一个简单的示例,可能存在一些问题和限制,如无法处理反爬虫机制、无法处理图片下载失败等情况。如果需要更稳定和高效的图片下载工具,建议使用专业的爬虫框架或第三方库。
阅读全文