python爬虫抓取电影榜单图片

Python爬虫抓取电影榜单图片通常需要以下几个步骤：

1. **选择库**：首先，你需要熟悉Python的网络请求库，如`requests`用于发送HTTP请求，以及解析HTML内容的库，比如`BeautifulSoup`或`lxml`。

2. **目标定位**：确定你要从哪个网站抓取图片，常见的电影榜单网站有IMDb、豆瓣电影等。每个网站的HTML结构可能会有所不同，所以你需要分析网页源码找到图片的URL路径。

3. **发送请求**：使用`requests.get()`函数获取网页内容，然后通过响应的`content`属性得到HTML字符串。

4. **解析HTML**：使用BeautifulSoup或其他库解析HTML，定位包含图片元素的部分。这通常涉及查找特定的CSS选择器或XPath表达式。

5. **提取图片链接**：从解析后的HTML中提取出图片的完整URL。这些链接通常是相对于网页根目录的相对路径。

6. **下载图片**：最后，你可以使用`requests`再次发送GET请求下载图片到本地，或者使用`urllib`的`urlretrieve()`函数。

7. **处理异常**：记得添加适当的错误处理，比如网络连接失败、页面结构变化等情况。

import requests
from bs4 import BeautifulSoup

# 示例URL
url = "https://movie.douban.com/top250"

# 发送请求并解析HTML
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 查找图片元素并下载
img_tags = soup.select('div.movie-poster img')
for img_tag in img_tags:
    img_url = img_tag['src']  # 获取图片链接
    response_img = requests.get(img_url)
    with open(f'{img_url.split("/")[-1]}', 'wb') as f:
        f.write(response_img.content)