1.构建带参URL信息,组成URL,爬取url对于网页图片,并存入本地文件。 2.读取不同text1和text2文件中的内容,获取不同cookie1和cookie2信息,爬取相关网页图片,并存入本地文件image1和image2 Python代码
时间: 2024-10-21 18:17:19 浏览: 74
java通过url读取远程数据并保持到本地的实例代码
5星 · 资源好评率100%
在Python中,你可以使用requests库来构建URL并下载网页图片,以及BeautifulSoup库来解析HTML内容提取图片链接。同时,使用os库来操作文件系统将图片保存到本地。以下是一个简单的示例:
```python
import os
import requests
from bs4 import BeautifulSoup
import json
# 1. 构建带参URL信息,爬取图片并保存
def download_images(url, save_path):
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
# 提取图片链接
img_tags = soup.find_all('img') # 可能需要替换标签名
for img in img_tags:
img_url = img['src'] # 获取图片的src属性
file_name = img_url.split('/')[-1] # 获取文件名
# 下载图片
try:
with open(os.path.join(save_path, file_name), 'wb') as f:
img_content = requests.get(img_url).content
f.write(img_content)
print(f"图片 {file_name} 已保存至 {save_path}")
except Exception as e:
print(f"下载图片 {img_url} 出错:{str(e)}")
# 2. 读取cookies信息并应用到请求头
def read_cookies(file_name):
with open(file_name, 'r') as f:
cookies_dict = json.load(f) # 假设cookies是以json格式存储
return {'Cookie': '; '.join(f"{k}={v}" for k, v in cookies_dict.items())}
# 使用函数
text_files = ['text1.txt', 'text2.txt']
cookie_files = ['cookie1.json', 'cookie2.json']
for text_file, cookie_file in zip(text_files, cookie_files):
with open(text_file, 'r') as t:
url = t.read() # 假设文本文件里有你要访问的url
cookies = read_cookies(cookie_file)
image_save_path = f"images_from_{text_file}"
os.makedirs(image_save_path, exist_ok=True)
download_images(url, image_save_path)
阅读全文