python代码实现编码器和解码器

在Python中，编码器（Encoder）和解码器（Decoder）通常用于处理文本数据，特别是涉及字符集转换或序列到向量的转换。例如，在自然语言处理任务中，像JSON、XML、Base64等编码经常会被使用。

简单的例子是字符串编码，比如将英文字符转换成ASCII编码：

# Python内置的encode()函数作为编码器
encoded_string = "Hello, World!".encode('utf-8')
print(encoded_string)  # 输出：b'Hello, World!'

# 使用decode()函数作为解码器，还原原始字符串
decoded_string = encoded_string.decode('utf-8')
print(decoded_string)  # 输出：Hello, World!

对于更复杂的场景，如词嵌入（word embeddings），可以使用预训练模型库，如Gensim或TensorFlow的`tf.keras.preprocessing.text.Tokenizer`，它们提供了编码和解码词语的功能：

from gensim.models import Word2Vec

# 创建Word2Vec模型，这里假设我们有单词列表
model = Word2Vec(sentences)

# 编码器（将词汇映射到向量）
def encode_text(text):
    return model[text]

# 解码器（获取词汇对应的向量）
def decode_vector(vec):
    return list(model.wv.index2word)[vec]