def main(): src_dir='./data/' save_dir = './data/train' src_dir_test='./data/test' save_dir_test = './data/test' filepaths = glob.glob(src_dir + '/*.jpg') filepaths_test = glob.glob(src_dir_test + '/*.jpg') def sortKeyFunc(s): return int(os.path.basename(s)[:-4]) filepaths_test.sort(key=sortKeyFunc) filepaths.sort(key=sortKeyFunc) print("[*] Reading train files...") if not os.path.exists(save_dir): os.mkdir(save_dir) os.mkdir(save_dir_test) os.mkdir('./data/train/noisy') os.mkdir('./data/train/original') os.mkdir('./data/test/noisy') os.mkdir('./data/test/original') print("[*] Applying noise...") sig = np.linspace(0,50,len(filepaths)) np.random.shuffle(sig) sig_test = np.linspace(0,50,len(filepaths_test)) np.random.shuffle(sig_test) for i in xrange(len(filepaths)): image = cv2.imread(filepaths[i]) image = cv2.resize(image,(180,180), interpolation = cv2.INTER_CUBIC) row,col,ch = image.shape mean = 0 sigma = sig[i] gauss = np.random.normal(mean,sigma,(row,col,ch)) gauss = gauss.reshape(row,col,ch) noisy = image + gauss noisy = np.clip(noisy, 0, 255) noisy = noisy.astype('uint8') cv2.imwrite(os.path.join(save_dir, "noisy/%04d.png" %i), noisy) cv2.imwrite(os.path.join(save_dir, "original/%04d.png" %i), image) for i in xrange(len(filepaths_test)): image = cv2.imread(filepaths_test[i]) image = cv2.resize(image,(180,180), interpolation = cv2.INTER_CUBIC) row,col,ch = image.shape mean = 0 sigma = sig[i] gauss = np.random.normal(mean,sigma,(row,col,ch)) gauss = gauss.reshape(row,col,ch) noisy = image + gauss noisy = np.clip(noisy, 0, 255) noisy = noisy.astype('uint8') cv2.imwrite(os.path.join(save_dir_test, "noisy/%d.png" %i), noisy) cv2.imwrite(os.path.join(save_dir_test, "original/%d.png" %i), image) print("[*] Noisy and original images saved") if __name__ == "__main__": main()
时间: 2024-04-21 14:27:09 浏览: 116
这段代码是一个图像处理脚本,用于生成加噪声的训练数据和测试数据。具体实现过程如下:
1. 定义了一些变量,包括源文件夹路径、保存文件夹路径等。
2. 使用glob库读取源文件夹中所有的.jpg文件,并将它们按文件名从小到大排序。
3. 创建保存文件夹及其子文件夹。
4. 对每张训练图像进行加噪声处理,使用高斯噪声模拟真实场景中的噪声。加噪声程度通过sig数组随机生成,将加噪声后的图像保存到noisy子文件夹中,原始图像保存到original子文件夹中。
5. 对每张测试图像进行同样的操作,将加噪声后的图像保存到test/noisy子文件夹中,原始图像保存到test/original子文件夹中。
6. 最后输出提示信息。
需要注意的是,这段代码使用了OpenCV库对图像进行处理,需要先安装OpenCV库。另外,这段代码中的变量命名比较规范,代码结构清晰,易于阅读和理解。
相关问题
import numpy as np import pandas as pd import os import shutil from sklearn.model_selection import train_test_split def copy_files(src, dest): src_files = os.listdir(src) for file_name in src_files: full_file_name = os.path.join(src, file_name) if os.path.isfile(full_file_name): shutil.copy(full_file_name, dest) def find_sepsis_file(data_path_dir): id_nosepsis = [] id_sepsis = [] for psv in os.listdir(data_path_dir): pid = pd.read_csv(os.path.join(data_path_dir, psv), sep='|') if 1 in np.array(pid.SepsisLabel): id_sepsis.append(psv) else: id_nosepsis.append(psv) return (id_nosepsis, id_sepsis) if __name__ == "__main__": data_path_A = "E:/谷歌下载/data/training/" data_path_B = "E:/谷歌下载/data/training_setB/" data_path = "E:/谷歌下载/data/all_dataset/" copy_files(data_path_A, data_path) copy_files(data_path_B, data_path) # divide a total of 40,336 populations into septic/no-septic (2,932/37,404) patients id_nosepsis, id_sepsis = find_sepsis_file(data_path) # development dateset (34,285 patients, 2,492 septic & 31,793 non-septic) # validation dataset (6,051 patients, 440 septic & 5,611 non-septic) train_nosepsis, test_nosepsis = train_test_split(id_nosepsis, test_size=0.15, random_state=12306) train_sepsis, test_sepsis = train_test_split(id_sepsis, test_size=0.15, random_state=12306) test_set = np.append(test_nosepsis, test_sepsis) np.save("E:/谷歌下载/data/train_nosepsis.npy", train_nosepsis) np.save("E:/谷歌下载/data/train_sepsis.npy", train_sepsis) np.save("E:/谷歌下载/data/test_set.npy", test_set)
这段代码的功能是将两个数据路径(`data_path_A`和`data_path_B`)下的所有文件复制到一个目标数据路径(`data_path`)中。然后,根据是否患有败血症(sepsis)将这些文件分为两组(`id_nosepsis`和`id_sepsis`)。
接下来,使用`train_test_split`函数将无败血症和有败血症的患者分别划分为训练集和测试集。其中,无败血症的训练集为`train_nosepsis`,有败血症的训练集为`train_sepsis`。测试集由无败血症和有败血症的测试样本组成,存储在`test_set`中。
最后,使用`np.save()`函数将划分好的训练集和测试集保存为.npy文件。
总结来说,这段代码的目的是将两个数据路径下的文件复制到一个目标数据路径中,并将这些文件根据是否患有败血症进行划分,最后保存划分好的训练集和测试集。
import torch import load_data import network import train import test import os device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") train_dir = "./data/SICE_train" val_dir = "./data/SICE_val/low" train_id = "MyModel" train_batch_size = 2 val_batch_size = 1 num_epochs = 100 def main(): model_folder = "./model/"+train_id if not os.path.exists(model_folder): os.makedirs(model_folder) model_dir = model_folder + "/100.pth" train_data = load_data.load_images(train_dir, train_batch_size) val_data = load_data.load_images(val_dir, val_batch_size) net = network.UNet(1, 1).to(device) net.apply(network.init) net = train.train_model(net, train_data, val_data, num_epochs, device, train_id) torch.save(net.state_dict(), model_dir) test.evaluate(model_dir) if __name__ == "__main__": main()
这段代码是一个基于 PyTorch 搭建的 UNet 神经网络模型的训练与测试代码。具体来说,代码主要分为以下几个部分:
1. 导入 PyTorch 库和其他自定义的 Python 模块。
2. 定义了一些训练和测试时需要用到的参数,如训练集和验证集的路径、模型保存的文件夹、训练时的批大小、训练的轮数等。
3. 在 main() 函数中,首先创建了一个用于保存模型的文件夹,然后调用了 load_data 模块中的 load_images() 函数加载训练集和验证集的数据。
4. 接着定义了一个 UNet 网络,并使用 network 模块中的 init() 函数对模型进行初始化。
5. 然后调用 train 模块中的 train_model() 函数对模型进行训练,并将训练好的模型保存在指定的文件夹中。
6. 最后调用 test 模块中的 evaluate() 函数对训练好的模型进行测试。
需要注意的是,代码中的 UNet 网络是针对单通道的输入图像,输出也是单通道的。如果需要处理多通道图像,需要修改网络的输入和输出通道数。此外,代码还可以进一步优化,比如增加数据增强等技巧,以提高模型的性能。
阅读全文