序列并行用于大模型训练还是大模型推理

序列并行（Sequence Parallelism）通常在大规模模型训练中被广泛应用，特别是那些基于Transformer架构的语言模型或深度学习模型，如BERT、GPT系列等。在训练过程中，由于神经网络中的自注意力机制计算量巨大，序列并行可以将数据划分为多个子序列，同时在多个处理器或GPU上对这些子序列进行处理，从而加速计算速度，减少整体训练时间。

对于大模型推理阶段，序列并行同样能提高效率，特别是在实时应用和服务场景中。当有大量的输入序列需要快速预测时，通过并行处理多个请求可以显著提升响应速度，但可能不会像训练那样显著增加硬件资源利用率，因为推理通常不需要反向传播和权重更新。

相关问题：
1. 在模型部署时，如何决定是在训练阶段还是推理阶段采用序列并行？
2. 序列并行在模型微调时的效果如何？
3. 如何平衡序列并行带来的性能提升与额外的系统复杂性？