Funnel Transformer

Funnel Transformer是一种模型后处理的方法，旨在减少Transformer模型的空间复杂度。Funnel Transformer通过将输入序列分层处理，以减少模型参数和内存消耗。它引入了一个下采样的过程，将输入的宽度降低，以减少需要处理的信息量。然后，经过多层的编码和解码过程，最终生成输出序列。Funnel Transformer的设计使得它可以在保持模型性能的同时减少空间复杂度，从而提高运算效率。