Bi-directional

双向词嵌入（bi-directional embeddings）是一种自然语言处理技术，它考虑了单词在其上下文中的双向信息。传统的词嵌入通常是单向的，只考虑一个单词与它前面或后面的词语之间的关系。然而，双向词嵌入模型如LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit）允许模型同时考虑前方和后方的上下文，这通常通过两个独立但共享权重的RNN层实现。

举个例子，假设我们有句子"the cat sat on the mat"，在双向词嵌入中，不仅会计算"cat"与"sat"的关系，还会计算"cat"与"mat"的关系，这样可以更准确地捕捉到语义信息[^4]。

from keras.preprocessing.sequence import pad_sequences
from keras.layers import Bidirectional, Embedding

# 假设我们有一个单词序列
words = ["the", "cat", "sat", "on", "the", "mat"]
sequences = [[word_index[w] for w in sentence] for sentence in words]

# 创建双向词嵌入层
model = Sequential()
model.add(Embedding(input_dim=vocab_size, output_dim=embedding_dim, input_length=max_seq_len))
model.add(Bidirectional(LSTM(units=lstm_units)))

# 使用模型对输入序列进行处理
embbedings = model.predict(pad_sequences(sequences))