如何用python爬虫爬取图片

当使用Python进行爬虫时，可以使用第三方库如Requests、BeautifulSoup和Scrapy来实现。以下是一种基本的方法来使用Python爬虫爬取图片：

1. 导入所需的库：

import requests
from bs4 import BeautifulSoup

2. 发送HTTP请求获取网页内容：

url = "待爬取的网页URL"
response = requests.get(url)

3. 解析网页内容：

soup = BeautifulSoup(response.text, "html.parser")

4. 定位图片标签：

image_tags = soup.find_all("img")

5. 遍历图片标签并下载图片：

for img in image_tags:
    img_url = img["src"]
    img_data = requests.get(img_url).content
    with open("保存路径/文件名.jpg", "wb") as f:
        f.write(img_data)

请注意，上述代码仅为基本示例，实际应用中可能需要处理更多的异常情况和优化代码。

相关问题

python爬虫爬取图片代码

以下是一个简单的 Python 爬虫爬取图片的代码示例：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com/' # 网站 URL
response = requests.get(url) # 获取网页内容
soup = BeautifulSoup(response.text, 'html.parser') # 解析 HTML

# 获取图片链接
img_links = []
for img in soup.find_all('img'):
    img_links.append(img.get('src'))

# 下载图片
for link in img_links:
    try:
        img_response = requests.get(link, stream=True)
        filename = link.split('/')[-1]
        with open(filename, 'wb') as f:
            for chunk in img_response.iter_content(chunk_size=1024):
                if chunk:
                    f.write(chunk)
    except:
        pass

这段代码中，我们使用 requests 库获取网页内容，使用 BeautifulSoup 库解析 HTML，然后获取网页中所有的图片链接。接着，我们使用 requests 库下载图片，将其保存到本地文件中。在下载图片时，我们使用了 `stream=True` 参数，使得请求的响应内容并没有立即下载，而是按需获取，这样可以节省内存。

python爬虫爬取图片实例

好的，以下是一个简单的 Python 爬虫爬取图片的实例：

import requests
from bs4 import BeautifulSoup

# 要爬取图片的网页链接
url = 'https://www.example.com'

res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')

# 找到所有的图片链接
img_tags = soup.find_all('img')

# 遍历图片链接，下载图片保存到本地
for img in img_tags:
    img_url = img.get('src')
    img_name = img.get('alt')
    # 如果图片链接以 http 或 https 开头，直接下载保存，否则拼接完整链接后下载保存
    if img_url.startswith(('http', 'https')):
        img_data = requests.get(img_url).content
    else:
        img_data = requests.get(url + img_url).content
    with open(f'{img_name}.jpg', 'wb') as f:
        f.write(img_data)
        print(f"{img_name} 下载完成")

以上实例中，我们使用 requests 库获取网页内容，使用 BeautifulSoup 库解析网页内容，找到所有的图片链接，逐个遍历这些链接并下载保存到本地。

希望这个实例对你有帮助！