BERT -BiLSTM - Attention
时间: 2024-01-19 14:02:16 浏览: 132
attention
BERT是一种基于Transformer的双向编码器,它利用大规模无标注的预料训练,获得包含文本内在语义信息的Representation。BiLSTM-Attention模型是一种基于LSTM的模型,它可以有效地提取动作前后之间相互关联的信息,从而提高行为识别率。在行为识别中,可以将BERT作为特征提取器,提取文本特征,然后将这些特征输入到BiLSTM-Attention模型中进行行为识别。这样可以充分利用BERT的文本特征提取能力和BiLSTM-Attention模型的序列建模能力,从而提高行为识别的准确率。
阅读全文