transformer embedding dialogue

Transformer Embedding Dialogue（TED）是一种用于处理多轮对话的策略。它基于Transformer模型，通过对对话历史信息进行编码和嵌入，来选择相关的信息用于生成后续行为或响应的预测。

TED的目标是在多轮对话环境中提高对话系统的抗干扰能力。为了实现这一目标，需要建立一个对话数据集，其中系统的行为是依赖于对话历史信息的。这意味着排除了只包含问答信息的数据集，如WikiQA。

TED的实现过程包括以下步骤：
1. 对对话历史进行编码：使用Transformer模型将对话历史信息编码为向量表示。Transformer模型是一种基于自注意力机制的神经网络模型，能够捕捉输入序列中的上下文关系。
2. 嵌入对话历史：将编码后的对话历史信息嵌入到一个固定维度的向量空间中。这样可以将对话历史信息转化为一个连续的向量表示，以便后续的预测任务。
3. 选择相关信息：使用嵌入的对话历史信息来选择与当前对话状态相关的信息。这可以通过计算嵌入向量与候选信息之间的相似度来实现。
4. 生成后续行为或响应的预测：根据选择的相关信息，使用模型来生成对话系统的后续行为或响应的预测。

通过使用Transformer模型和嵌入对话历史信息的方法，TED能够提高对话系统在多轮对话中的抗干扰能力，使其能够更好地理解和回应用户的意图和需求。