python爬虫爬取图片
时间: 2023-11-08 19:54:04 浏览: 89
好的,这是一个非常普遍的问题。要爬取网页上的图片,可以使用Python中的requests和BeautifulSoup库。首先,使用requests库下载网页内容,然后使用BeautifulSoup库来解析HTML文档并提取所有图片的URL。最后,使用requests库下载并保存这些图片。下面是一个简单的Python代码示例:
```
import requests
from bs4 import BeautifulSoup
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
for img in soup.find_all('img'):
img_url = img.get('src')
img_response = requests.get(img_url)
img_name = img_url.split('/')[-1]
with open(img_name, 'wb') as f:
f.write(img_response.content)
```
请注意,此代码仅供参考,具体实现可能会因为网页结构不同而有所不同。
相关问题
使用python爬虫爬取图片
可以使用Python编写爬虫程序,通过百度图片搜索接口获取图片链接,然后下载图片保存到本地。具体步骤如下:
1. 导入必要的库:requests、os、re、time等。
2. 构造搜索链接,例如:https://image.baidu.com/search/index?tn=baiduimage&word=猫&pn=0&rn=30&cl=2&ie=utf-8&width=&height=&face=0&istype=2&qc=&nc=1&fr=&se=&sme=&t=&z=&ic=&lm=-1&itg=0&cg=girl&bdtype=0&oriquery=&objurl=http%3A%2F%2Fpic1.win4000.com%2Fwallpaper%2F2018-01-24%2F5a68b6d5b2c1b.jpg&fromurl=http%3A%2F%2Fpic1.win4000.com%2Fwallpaper%2F2018-01-24%2F5a68b6d5b2c1b.html
其中,word表示搜索关键词,pn表示图片偏移量,rn表示每页显示的图片数量。
3. 发送请求,获取搜索结果页面。
4. 解析页面,提取图片链接。
5. 下载图片,保存到本地。
6. 循环执行步骤2-5,直到获取足够的图片数量。
需要注意的是,爬取图片时要遵守相关法律法规,不得侵犯他人权益。
python爬虫爬取图片实例
好的,以下是一个简单的 Python 爬虫爬取图片的实例:
```python
import requests
from bs4 import BeautifulSoup
# 要爬取图片的网页链接
url = 'https://www.example.com'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
# 找到所有的图片链接
img_tags = soup.find_all('img')
# 遍历图片链接,下载图片保存到本地
for img in img_tags:
img_url = img.get('src')
img_name = img.get('alt')
# 如果图片链接以 http 或 https 开头,直接下载保存,否则拼接完整链接后下载保存
if img_url.startswith(('http', 'https')):
img_data = requests.get(img_url).content
else:
img_data = requests.get(url + img_url).content
with open(f'{img_name}.jpg', 'wb') as f:
f.write(img_data)
print(f"{img_name} 下载完成")
```
以上实例中,我们使用 requests 库获取网页内容,使用 BeautifulSoup 库解析网页内容,找到所有的图片链接,逐个遍历这些链接并下载保存到本地。
希望这个实例对你有帮助!
阅读全文
相关推荐






