python 爬虫 爬图片
时间: 2023-09-25 18:15:14 浏览: 109
爬虫_python_一款抓取整个网站的图片程序
使用Python编写爬虫可以很方便地爬取图片数据。下面是一个简单的爬虫程序的基本过程:
1. 准备工作。首先,需要导入必要的库,比如requests和re。另外,可以设置一些请求头,以模拟浏览器发送请求。还可以创建一个文件夹,用于保存爬取的图片。
2. 发送请求。使用requests库发送GET请求到目标网站的URL,可以根据需要设置请求头。
3. 获取响应。从响应中获取内容,可以使用response.text或response.content,根据需要设置编码。
4. 提取图片地址。通过正则表达式或其他方法提取图片地址,可以使用re.findall()函数进行匹配。
5. 下载图片。遍历提取到的图片地址列表,使用requests.get()方法发送GET请求获取图片内容。将图片内容保存到本地文件夹中,可以使用open()函数以二进制写入模式打开文件,并使用file.write()方法将图片内容写入文件。
下面是一个示例代码:
```python
import requests
import re
import os
image_folder = '表情包'
if not os.path.exists(image_folder):
os.mkdir(image_folder)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
}
response = requests.get('https://qq.yh31.com/zjbq/', headers=headers)
response.encoding = 'GBK'
response.encoding = 'utf-8'
print(response.request.headers)
print(response.status_code)
pattern = r'<img src="(.*?)" alt="(.*?)" width="160" height="120">'
result = re.findall(pattern, response.text)
for img in result:
print(img)
res = requests.get(img}.{img<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [python爬虫入门教程:爬取网页图片](https://blog.csdn.net/qq_46145027/article/details/123969044)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
阅读全文