paddlenlp的fast_transformer算子如何融合kernel?给出一段示例代码

当使用PaddleNLP中的fast_transformer算子时，可以通过设置`fusion`参数来控制是否融合kernel。具体来说，`fusion`参数有两个选项：`auto`和`true`。

- `fusion=auto`：这是fast_transformer算子的默认设置。在这种设置下，PaddleNLP会根据硬件和模型的具体情况自动选择是否融合kernel。

- `fusion=true`：当设置为`true`时，PaddleNLP将始终融合kernel。

下面是使用PaddleNLP中fast_transformer算子的示例代码：

import paddle
import paddlenlp as ppnlp

# 输入数据
src_word = paddle.randint(0, 100, shape=[2, 4]).astype("int64")
src_pos = paddle.arange(0, 4, 1, 'int64').unsqueeze(0).expand_as(src_word)
tgt_word = paddle.randint(0, 100, shape=[2, 6]).astype("int64")
tgt_pos = paddle.arange(0, 6, 1, 'int64').unsqueeze(0).expand_as(tgt_word)

# 创建fast_transformer算子
fast_transformer = ppnlp.transformers.FastTransformer(
    src_vocab_size=100,
    trg_vocab_size=100,
    max_length=10,
    n_layer=2,
    n_head=4,
    d_model=128,
    d_inner_hid=512,
    dropout=0.1,
    weight_sharing=True,
    bos_id=0,
    eos_id=1,
    beam_size=5,
    max_out_len=10,
    init_from_pretrain_model=None,
    fusion='auto'  # 设置融合kernel
)

# 进行模型前向计算
output = fast_transformer(src_word, src_pos, tgt_word, tgt_pos)

在上述示例代码中，我们创建了一个fast_transformer对象，并通过设置参数`fusion='auto'`来启用自动融合kernel。然后，我们将输入数据传递给fast_transformer模型进行前向计算，得到输出结果。

请注意，示例代码中的参数设置仅供参考，您可以根据自己的实际需求进行调整。