两层注意力机制han模型推导过程

Han模型是基于注意力机制的文本分类模型，其推导过程如下：

1. 首先，将输入的文本序列表示为一个矩阵X，其中每一行表示一个词向量。

2. 对矩阵X进行词级别的注意力计算，得到一个权重矩阵A1。具体而言，对于X中的每个词向量，计算其与所有词向量的相似度，得到一个分数向量，再对分数向量进行softmax归一化，得到对应的权重向量。将所有的权重向量按行拼接起来，得到A1。

3. 将X和A1做加权平均，得到一个文本向量H1。具体而言，对于X中的每个词向量和A1中对应的权重向量，将它们做点积并相加，再将结果按行相加，得到H1。

4. 对H1进行句级别的注意力计算，得到一个权重向量A2。具体而言，对于H1中的每个文本向量，计算其与所有文本向量的相似度，得到一个分数向量，再进行softmax归一化，得到对应的权重向量A2。

5. 将H1和A2做加权平均，得到最终的文本向量H2。具体而言，对于H1中的每个文本向量和A2中对应的权重向量，将它们做点积并相加，得到一个加权和向量，将所有的加权和向量按行相加，得到H2。

6. 将H2输入到一个全连接层中进行分类。

以上就是Han模型的推导过程，它可以通过注意力机制有效地捕捉文本序列中重要的信息，并且在文本分类任务中取得了不错的效果。