Google Brain新发布Lion优化器：高效超越Adam(W)的实战应用

Google Brain团队最近发布了一款名为"Lion"的新优化器，针对机器学习和深度学习领域的竞赛和应用提供了显著的优势。Lion优化器相较于传统的Adam(W)算法，表现出更高的效率和性能。 首先，Lion优化器的设计注重简洁性和内存管理。它仅需存储动量信息，从而将内存占用减少了一半，这对于处理大型模型和大批次数据时尤其有利。比如，在训练像ViT-B/16这样的模型时，Adam(W)可能需要16个TPU V4芯片，而Lion只需8个就能完成相同的任务，这在资源利用上更为高效。 其次，Lion的简单结构使其在实际运行速度上有所提升，相比于Adam(W)和Adafactor，实验表明在大多数情况下，Lion能提供2-15%的训练速度提升。这不仅提高了训练效率，还减少了整体的训练时间。 在多项任务和模型上，Lion都展现出了优异的表现： 1. 在图像分类任务中，无论是从头开始训练还是预训练，Lion都能超越Adam(W)，例如在ImageNet上，Lion预训练的成本可节省高达5倍，并在特定条件下与更大型的ViT模型达到相近甚至更好的精度。 2. 在视觉-语言对比训练方面，Lion在零样本图像分类和图像文本检索上胜过Adam(W)，并且在BASIC-L上的微调ImageNet准确率也有显著提升。 3. 在扩散模型的训练中，Lion在FID分数上超越Adam(W)，同时节省了大量计算资源。在不同分辨率的图像生成任务中，Lion表现更为出色。 4. 在语言建模任务中，Lion显示出惊人的效率，验证困惑度降低，特别是在处理大规模数据集如Wiki-40B和PG-19时，节省的计算量达到两倍。此外，与Adafactor相比，Lion在LLM（语言模型）的训练和GLUE上的微调中具有更强的上下文学习能力。 最后，Lion优化器的超参数设置相对较少，这使得它对使用者来说更加易于调整和部署。无论是在Kaggle竞赛中的方案设计，还是在实际项目中寻找优化策略，Lion都提供了强大的工具支持，有可能成为未来AI训练中的一种重要选择。研究人员和工程师们可以考虑在他们的项目中尝试引入Lion优化器，以期待更高效的训练体验和更好的模型性能。