python爬虫爬取图片url

Python爬虫用于从网站上抓取数据，包括图片URL。使用Python进行图片URL爬取通常会涉及以下几个步骤：

1. **选择库**：
Python有许多库可以用来爬虫，如`requests`（发送HTTP请求）、`BeautifulSoup`（解析HTML）和`PIL`（处理图片）。`Scrapy`也是一个强大的框架，专门用于爬虫开发。

2. **发送请求**：
使用`requests.get()`获取网页内容，如果目标是图片链接，可能需要检查响应头中的Content-Type来确认。

3. **解析HTML**：
使用BeautifulSoup或其他解析库分析HTML结构，找到包含图片URL的元素。例如，img标签的src属性通常是图片链接。

4. **提取链接**：
提取出图片链接，这通常涉及到定位和解析相关的HTML属性或CSS选择器。

5. **保存链接**：
将获取到的图片URL保存到文件、数据库或者列表中。

6. **处理图片**：
可选地，如果你需要下载图片，可以使用`requests`下载图片，然后用`PIL`进行进一步处理。

以下是简单示例代码片段：

import requests
from bs4 import BeautifulSoup

def get_image_urls(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    img_tags = soup.find_all('img')  # 查找所有img标签
    image_urls = [img['src'] for img in img_tags]  # 提取src属性作为链接
    
    return image_urls

# 示例使用
url_to_crawl = 'http://example.com'
image_links = get_image_urls(url_to_crawl)

# 存储图片URL
with open('image_links.txt', 'w') as f:
    for link in image_links:
        f.write(f'{link}\n')

# 下载图片（如果需要）
for link in image_links:
    response = requests.get(link)
    with open(link.split('/')[-1], 'wb') as f:
        f.write(response.content)