Transformer、MOE架构

Transformer是一种基于自注意力机制的神经网络架构，最初被用于自然语言处理任务，如机器翻译和语言模型。它的核心思想是将输入序列映射到一个高维空间中，然后通过自注意力机制来计算每个位置与其他位置的关系，从而实现对整个序列的编码和解码。

MOE（Mixture of Experts）架构是一种用于处理大规模数据和复杂任务的神经网络架构。它将神经网络分成多个子网络（专家），每个子网络负责处理输入数据的不同部分或方面。然后，一个门控网络（调度器）根据输入数据的不同特征来选择哪个子网络来处理输入数据。MOE架构可以有效地提高神经网络的性能和可扩展性。