python爬虫应用——抓取百度图片

Python爬虫应用于抓取百度图片通常涉及使用第三方库如`requests`, `BeautifulSoup` 或者 `Scrapy`框架。以下是基本步骤：

1. **导入所需库**：
首先，你需要安装`requests`库来发送HTTP请求，以及可能需要的如`bs4`（BeautifulSoup4）用于解析HTML内容。

import requests
from bs4 import BeautifulSoup

2. **发送GET请求**：
使用`requests.get()`函数获取百度图片搜索结果的网页源码。

url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&stc=1&fr=&sf=1&fmq=1689375560990_R&pv=&ic=0&nc=1&z=&word=' + keyword
response = requests.get(url)

这里`keyword`是你想要搜索的图片关键字。

3. **解析HTML**：
使用BeautifulSoup解析返回的HTML，找到包含图片URL的部分。这通常涉及到查找`<img>`标签的`src`属性。

soup = BeautifulSoup(response.text, 'lxml')
img_tags = soup.find_all('img', src=True) # 查找所有有src属性的<img>元素

4. **提取图片URL**：
循环遍历`img_tags`，提取每个图片链接。

image_urls = [img['src'] for img in img_tags]

5. **保存图片**：
可以使用`requests`库下载图片到本地，如果图片地址是HTTP的话。记得处理可能出现的网络错误。

for url in image_urls:
    try:
        response = requests.get(url, stream=True)
        with open(f'{keyword}_{i}.jpg', 'wb') as f:
            for chunk in response.iter_content(chunk_size=1024):
                if chunk:  # filter out keep-alive new chunks
                    f.write(chunk)
    except Exception as e:
        print(f"Failed to download {url}: {e}")

6. **注意事项**：
- 爬虫操作需遵守百度的robots.txt规则，并尊重版权，合理使用抓取数据。
- 实际操作可能会遇到反爬虫策略，可能需要设置延迟、用户代理等。
- 如果需要大规模抓取，最好使用Scrapy等专业的爬虫框架。