npy文件作为embbedding

使用 npy 文件存储和加载 Embedding 数据
npy文件设计目的在于为数据分析和科学计算领域提供高效方式来存储和读取NumPy数组数据[^1]。这种特性使得npy文件非常适合用于存储诸如词向量(embeddings)这样的大型矩阵。
存储Embedding到npy文件
假设有一个预训练好的embedding字典embed_dict，其中键是单词索引，值是一个numpy数组表示该单词对应的向量：
import numpy as np

# 假设这是已经构建好或加载完成的embedding字典
embed_dict = {
0: np.array([0.1, -0.2, ...]), # 单词ID=0 的embedding
1: np.array([-0.5, 0.8, ...]), # 单词ID=1 的embedding
...
}

# 将字典转换成二维数组形式以便于保存至 .npy 文件
vocab_size = max(embed_dict.keys()) + 1
emb_dim = len(list(embed_dict.values())[0])
embedding_matrix = np.zeros((vocab_size, emb_dim))
for word_index, vector in embed_dict.items():
embedding_matrix[word_index] = vector

np.save('word_embeddings.npy', embedding_matrix)
登录后复制
上述代码片段创建了一个名为 word_embeddings.npy 的文件，它包含了整个词汇表中每个词语对应的位置编码（即embedding）。这里通过遍历原始的嵌入字典并将其转化为适合保存的形式——一个形状为 (vocab_size, embedding_dimension) 的 NumPy 数组。
加载npy文件中的Embedding
当需要使用这些预先训练好的 embeddings 时，则可以从 .npy 文件中快速加载它们:
loaded_embedding_matrix = np.load('word_embeddings.npy')

def get_word_vector(word_idx):
"""
获取指定单词索引处的embedding.

参数:
word_idx (int): 要查询其embedding的单词索引

返回:
ndarray: 对应位置上的embedding向量
"""
if word_idx >= loaded_embedding_matrix.shape[0]:
raise IndexError(f"Word index {word_idx} out of bounds.")

return loaded_embedding_matrix[word_idx]

print(get_word_vector(1)) # 输出 ID=1 的单词embedding
登录后复制
这段脚本展示了如何从之前保存下来的.npy文件里提取特定单词的embedding，并定义了一个辅助函数get_word_vector() 来简化这一过程。