python爬虫爬取多张图片

使用Python编写爬虫程序可以很方便地爬取多张图片。可以通过以下步骤实现：
1. 导入需要的库，例如`requests`和`BeautifulSoup`。
2. 使用`requests`库发送请求获取网页源代码。
3. 使用`BeautifulSoup`库解析网页源代码，提取出图片的URL链接。
4. 遍历所有图片的URL链接，并使用`requests`库下载保存图片。

以下是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

# 发送请求获取网页源代码
url = "https://example.com"
response = requests.get(url)
html = response.text

# 解析网页源代码，提取图片链接
soup = BeautifulSoup(html, "html.parser")
img_tags = soup.find_all("img")

# 下载并保存图片
for img_tag in img_tags:
    img_url = img_tag["src"]
    img_response = requests.get(img_url)
    img_data = img_response.content
    
    # 保存图片
    with open("image.jpg", "wb") as f:
        f.write(img_data)

相关问题

python爬虫爬取照片

Python爬虫用于抓取网页数据，包括图片。如果你想要爬取网站上的照片，可以使用Python的一些库，如BeautifulSoup、Scrapy或者requests配合PIL（Python Imaging Library）或其替代品比如Pillow来处理图片。

以下是基本步骤：

1. **导入库**：首先需要导入`requests`库用于发送HTTP请求获取网页内容，`beautifulsoup4`用于解析HTML文档，以及`Pillow`库用于处理图像数据。

import requests
from bs4 import BeautifulSoup
from PIL import Image

2. **发送请求**：通过`requests.get()`函数获取网页源码。

url = 'http://example.com/image.jpg'  # 替换为你想爬取的图片链接
response = requests.get(url)

3. **解析内容**：使用BeautifulSoup解析响应内容，定位到图片元素。

soup = BeautifulSoup(response.text, 'html.parser')
img_tag = soup.find('img')  # 或者根据实际标签名查找

4. **下载图片**：找到图片URL后，可以使用`response.content`下载图片，并保存到本地。

image_url = img_tag['src']
image_data = response.content
with open('downloaded_image.jpg', 'wb') as f:
    f.write(image_data)

5. **处理图片**：如果需要进一步操作图片，例如调整大小或格式转换，可以使用PIL库。

# 图片转灰度
image = Image.open('downloaded_image.jpg')
gray_image = image.convert('L')
gray_image.save('gray_downloaded_image.jpg')

python爬虫爬取网页图片

Python爬虫爬取网页图片通常通过以下几个步骤实现：

1. **引入必要的库**：首先需要安装如`requests`, `BeautifulSoup4`（用于解析HTML），以及`PIL`或`io`（处理图像数据）等库。

import requests
from bs4 import BeautifulSoup
import io

2. **发送HTTP请求获取网页内容**：使用`requests.get(url)`函数获取指定网页的HTML源码。

url = 'http://example.com'
response = requests.get(url)

3. **解析HTML提取图片链接**：使用`BeautifulSoup`解析HTML文档，找到所有的图片元素（通常是`<img>`标签），然后提取src属性，即图片URL。

soup = BeautifulSoup(response.text, 'html.parser')
image_links = [img['src'] for img in soup.find_all('img', src=True)]

4. **下载图片**：对每个图片链接，再次发起GET请求并保存到本地文件系统。

for link in image_links:
    response_image = requests.get(link)
    filename = f'image_{link.split("/")[-1]}'
    with open(filename, 'wb') as file:
        file.write(response_image.content)

5. **异常处理**：考虑到网络连接不稳定或其他可能的问题，记得添加适当的错误处理代码。

完整示例：

try:
    # ... 网页抓取和图片链接提取部分 ...

    # 下载图片
    for link in image_links:
        try:
            response_image = requests.get(link, timeout=10)  # 设置超时时间防止阻塞
            if response_image.status_code == 200:
                img_data = io.BytesIO(response_image.content)
                img = Image.open(img_data)
                # 可能还需要进一步处理图片，例如调整大小、保存格式等
                img.save(filename)
            else:
                print(f"Failed to download {link}, status code: {response_image.status_code}")
        except Exception as e:
            print(f"Error downloading image from {link}: {str(e)}")
except requests.exceptions.RequestException as e:
    print("Request error:", str(e))