曼巴：选择性状态空间的高效序列建模

"LLM+Mamba：一种创新的线性时间序列建模方法，通过结合选择性状态空间(SSM)和Transformer架构，旨在解决深度学习中的关键问题。曼巴模型由Albert Gu和Tri Dao两位研究者提出，他们分别来自卡内基梅隆大学和普林斯顿大学，专注于机器学习和计算机科学领域。 论文的核心贡献在于对现有Transformer架构的扩展和改进。Transformer由于其自注意力机制在处理长序列时效率较低，为此，研究者们开发了一系列次级时间架构，如线性注意力、门控卷积和循环模型，以及结构化状态空间模型（SSM）。然而，这些模型在语言等重要模态上的表现不如注意力机制。 曼巴模型的关键改进在于两个方面：首先，通过将SSM参数转化为输入的函数，引入离散模态，使得模型可以根据当前输入令牌动态地选择沿序列传播或遗忘信息，从而解决了模型缺乏基于内容推理的问题。这种选择性使得模型在保持灵活性的同时，避免了信息的冗余传播。 其次，尽管引入选择性SSM降低了卷积操作的效率，研究者们设计了一种硬件感知的并行算法，用于循环模式下的计算，这在一定程度上弥补了这一不足。曼巴将这些创新整合到一个简化但高效的端到端神经网络架构中，无需复杂的注意力机制甚至MLP块，从而实现快速推理，其吞吐量比Transformer高出5倍，且序列长度的处理能力呈现线性增长。 在实际应用中，Mamba展示了卓越的性能，特别是在处理长序列数据，如语言建模。Mamba-3B模型在预训练和下游任务上超越了同规模的Transformer，甚至与两倍规模的Transformer相当。它不仅在语言领域表现出色，还在音频和基因组学等多个模态上展现出最先进的性能，证明了其作为通用序列模型主干的潜力。 LLM+Mamba是一种革命性的方法，它通过改进的状态空间处理和并行计算策略，显著提升了深度学习模型在序列建模任务中的效率和性能，为未来处理大规模、长序列数据提供了新的可能。"