RuntimeError: DataLoader worker (pid(s) 2428, 24720, 12112, 1780, 16820, 3860, 1412, 26104) exited unexpectedly
时间: 2023-10-25 16:08:17 浏览: 177
runtimeerror_notifier:runtimeerror_notifier gem 适用于那些没有电子邮件发送资源的人
这个错误通常是由于 DataLoader 中的子进程异常退出导致的。可能的原因包括内存不足或者数据集中包含损坏的样本。
你可以尝试以下方法来解决这个问题:
1. 减少 DataLoader 的 worker 数量,让每个 worker 可以使用更多的内存。
2. 确认数据集中没有损坏的样本,可以使用 try-except 语句跳过这些样本。
3. 增加系统内存,以便更多的内存可供 DataLoader 使用。
4. 减小 batch_size 的大小,以减少 DataLoader 所需的内存。
阅读全文