python爬虫获取百度图片
时间: 2023-09-14 16:12:59 浏览: 153
python爬取百度图片
5星 · 资源好评率100%
要使用Python爬虫获取百度图片,你需要进行以下几个步骤:
1. 获取网页源代码:通过发送HTTP请求获取百度图片搜索结果页面的源代码。可以使用Python中的requests库发送GET请求,并使用该库的content属性获取网页的源代码。
2. 提取图片URL:在网页源代码中,使用正则表达式匹配出所有图片的URL。可以使用re库中的findall方法来匹配出所有符合规则的图片URL。
3. 下载保存图片:使用Python的requests库发送HTTP请求,并将获取到的图片数据保存到本地文件中。可以使用requests库的get方法来发送GET请求,并使用content属性获取图片的二进制数据。然后,使用open函数以二进制写入模式打开文件,并使用write方法将图片数据写入文件中。
需要注意的是,为了保存图片,你需要在Python程序所在的目录中创建一个名为"picture"的文件夹。
下面是一个简单的示例代码,演示了如何使用Python爬虫获取百度图片:
```python
import re
import requests
def get_img_url(data):
'''匹配出图片的URL'''
url_re = re.compile('"thumbURL":"(.*?)","replaceUrl"')
url_list = url_re.findall(data)
return url_list
def get_img(url):
'''下载并保存图片'''
img = requests.get(url).content
with open('picture/{}.jpg'.format(name), 'wb') as save_img:
save_img.write(img)
# 发送HTTP请求,获取网页源代码
response = requests.get('https://www.baidu.com/s?wd=python')
data = response.text
# 提取图片URL
url_list = get_img_url(data)
# 下载保存图片
for url in url_list:
get_img(url)
```
请注意,为了运行这个示例代码,你需要先安装requests库,可以使用pip install requests命令进行安装。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
阅读全文