代码训练速度慢,正确率低,将代码改进并列出
时间: 2024-10-26 10:03:22 浏览: 37
为了提高代码的训练速度和准确率,可以考虑以下几方面的改进:
### 1. **优化数据加载**
- **多线程/多进程加载**:使用 `tf.data.Dataset` 来进行多线程或多进程的数据加载,以加快数据读取速度。
- **内存缓存**:对于较小的数据集,可以将数据全部加载到内存中,避免频繁的磁盘 I/O 操作。
### 2. **调整模型结构**
- **预训练模型**:使用预训练的 ResNet50 模型(例如 `weights='imagenet'`),这样可以利用已经学习到的特征,加速收敛。
- **增加网络深度**:如果资源允许,可以尝试更深的网络结构,如 ResNet101 或 ResNet152。
- **减少全连接层节点数**:适当减少全连接层的节点数,以降低过拟合的风险。
### 3. **优化训练参数**
- **学习率调度**:使用学习率衰减策略,如 `ReduceLROnPlateau`,在验证损失不再下降时自动降低学习率。
- **早停法**:设置早停条件,当验证损失不再改善时提前终止训练,避免过度拟合。
- **批量归一化**:在网络中添加批量归一化层,有助于加速训练过程。
### 4. **数据增强**
- **更多的数据增强操作**:除了现有的旋转、平移等操作外,还可以增加颜色抖动、随机裁剪等增强方法。
- **混合精度训练**:使用混合精度训练技术,可以在保持精度的同时显著提升训练速度。
### 5. **硬件加速**
- **GPU 使用**:确保代码在 GPU 上运行,而不是 CPU。可以通过 `tf.config.experimental.set_memory_growth` 动态分配 GPU 内存。
- **分布式训练**:如果有多个 GPU,可以使用 TensorFlow 的分布式训练功能来进一步加速训练。
### 改进后的代码示例
```python
import os
import json
import numpy as np
import pandas as pd
from PIL import Image
import tensorflow as tf
from sklearn.model_selection import train_test_split
from tensorflow.keras.applications.resnet50 import ResNet50
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Dense, GlobalAveragePooling2D, Dropout, BatchNormalization
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import Adam
from sklearn.metrics import f1_score, accuracy_score
from tensorflow.keras.callbacks import ReduceLROnPlateau, EarlyStopping
from tensorflow.keras.mixed_precision import experimental as mixed_precision
# 启用混合精度训练
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)
# 定义路径常量
TRAIN_DATA_DIR = "C:\\Users\\24067\\Desktop\\peach_split\\train"
VAL_DATA_DIR = "C:\\Users\\24067\\Desktop\\peach_split\\val"
TEST_DATA_DIR = "C:\\Users\\24067\\Desktop\\peach_split\\test"
TRAIN_LABEL_PATH = "C:\\Users\\24067\\Desktop\\train_label.json"
VAL_LABEL_PATH = "C:\\Users\\24067\\Desktop\\val_label.json"
OUTPUT_PATH = "C:\\Users\\24067\\Desktop\\data\\submission.csv"
MODEL_SAVE_PATH = "C:\\Users\\24067\\Desktop\\data\\model.keras"
# 加载数据集
def load_data(data_dir, label_path):
with open(label_path, 'r') as f:
labels_list = json.load(f)
labels = {item['文件名']: item['标签'] for item in labels_list if '文件名' in item and '标签' in item}
images = []
targets = []
for file_name, label in labels.items():
img_path = os.path.join(data_dir, file_name)
if not os.path.exists(img_path):
continue
img = Image.open(img_path).resize((128, 128))
img_array = np.array(img) / 255.0
images.append(img_array)
targets.append(label)
if len(images) == 0:
raise ValueError("No valid images found.")
return np.array(images), np.array(targets)
# 加载训练集和验证集
X_train, y_train = load_data(TRAIN_DATA_DIR, TRAIN_LABEL_PATH)
X_val, y_val = load_data(VAL_DATA_DIR, VAL_LABEL_PATH)
# 标签映射
label_map = {'特级': 3, '一级': 2, '二级': 1, '三级': 0}
y_train = np.array([label_map[label] for label in y_train])
y_val = np.array([label_map[label] for label in y_val])
# 创建模型
def create_resnet_model(input_shape=(128, 128, 3)):
base_model = ResNet50(weights='imagenet', include_top=False, input_shape=input_shape)
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(256, activation='relu')(x)
x = BatchNormalization()(x)
x = Dropout(0.5)(x)
predictions = Dense(4, activation='softmax')(x)
model = Model(inputs=base_model.input, outputs=predictions)
return model
# 实例化模型
model = create_resnet_model()
# 编译模型
model.compile(optimizer=Adam(learning_rate=0.0001), loss='sparse_categorical_crossentropy', metrics=['accuracy'])
# 数据增强
datagen = ImageDataGenerator(
rotation_range=20,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.15,
zoom_range=0.15,
horizontal_flip=True,
vertical_flip=True,
brightness_range=[0.5, 1.5],
channel_shift_range=20,
fill_mode='nearest'
)
# 回调函数
reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.2, patience=5, min_lr=1e-6)
early_stopping = EarlyStopping(monitor='val_loss', patience=10, restore_best_weights=True)
# 训练模型
history = model.fit(
datagen.flow(X_train, y_train, batch_size=32),
epochs=50,
validation_data=(X_val, y_val),
callbacks=[reduce_lr, early_stopping]
)
# 保存模型
tf.keras.saving.save_model(model, MODEL_SAVE_PATH)
# 评估模型
def evaluate_model(model, X, y):
predictions = model.predict(X)
predicted_labels = np.argmax(predictions, axis=1)
accuracy = accuracy_score(y, predicted_labels)
f1 = f1_score(y, predicted_labels, average='weighted')
print(f'Accuracy: {accuracy:.4f}')
print(f'F1 Score: {f1:.4f}')
return accuracy, f1
evaluate_model(model, X_val, y_val)
# 预测测试集并保存结果
def predict_and_save(test_data_dir, output_path):
test_images = []
test_file_names = []
for file_name in os.listdir(test_data_dir):
img_path = os.path.join(test_data_dir, file_name)
if not os.path.exists(img_path) or not file_name.lower().endswith(('.png', '.jpg', '.jpeg')):
continue
img = Image.open(img_path).resize((128, 128))
img_array = np.array(img) / 255.0
test_images.append(img_array)
test_file_names.append(file_name)
test_images = np.array(test_images)
predictions = model.predict(test_images)
predicted_labels = np.argmax(predictions, axis=1)
label_map_inv = {v: k for k, v in label_map.items()}
predicted_labels = [label_map_inv[label] for label in predicted_labels]
submission_df = pd.DataFrame({'文件名': test_file_names, '标签': predicted_labels})
submission_df.to_csv(output_path, index=False)
# 进行预测并保存结果
predict_and_save(TEST_DATA_DIR, OUTPUT_PATH)
```
### 总结
通过上述改进措施,可以显著提高模型的训练速度和准确率。主要改进点包括优化数据加载、调整模型结构、优化训练参数、增强数据增广以及启用硬件加速。希望这些改进能帮助你达到更好的训练效果。
阅读全文