seq2seq模型代码

Seq2seq模型是一种常用的序列到序列模型，可用于机器翻译、语音识别等任务。以下是一个简单的Seq2seq模型代码示例：

import numpy as np
import tensorflow as tf

# 输入序列长度
encoder_seq_length = 20
# 输出序列长度
decoder_seq_length = 10
# 批大小
batch_size = 32
# 词汇表大小
vocab_size = 10000
# 隐层维度
hidden_size = 128

# 定义输入
encoder_inputs = tf.placeholder(shape=(None, encoder_seq_length), dtype=tf.int32, name='encoder_inputs')
decoder_inputs = tf.placeholder(shape=(None, decoder_seq_length), dtype=tf.int32, name='decoder_inputs')
decoder_targets = tf.placeholder(shape=(None, decoder_seq_length), dtype=tf.int32, name='decoder_targets')

# 定义编码器
encoder_emb = tf.Variable(tf.random_uniform([vocab_size, hidden_size], -1.0, 1.0), dtype=tf.float32)
encoder_inputs_emb = tf.nn.embedding_lookup(encoder_emb, encoder_inputs)

encoder_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units=hidden_size)
_, encoder_state = tf.nn.dynamic_rnn(cell=encoder_cell, inputs=encoder_inputs_emb, dtype=tf.float32)

# 定义解码器
decoder_emb = tf.Variable(tf.random_uniform([vocab_size, hidden_size], -1.0, 1.0), dtype=tf.float32)
decoder_inputs_emb = tf.nn.embedding_lookup(decoder_emb, decoder_inputs)

decoder_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units=hidden_size)
decoder_outputs, _ = tf.nn.dynamic_rnn(cell=decoder_cell, inputs=decoder_inputs_emb, initial_state=encoder_state, dtype=tf.float32)

# 定义输出层
decoder_outputs_flat = tf.reshape(decoder_outputs, [-1, hidden_size])
decoder_logits_flat = tf.layers.dense(decoder_outputs_flat, units=vocab_size, name='decoder_dense')
decoder_logits = tf.reshape(decoder_logits_flat, [-1, decoder_seq_length, vocab_size])

# 定义损失函数和优化器
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=decoder_targets, logits=decoder_logits)
loss = tf.reduce_mean(cross_entropy)
optimizer = tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)

# 训练模型
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(1000):
        encoder_inputs_batch = np.random.randint(low=0, high=vocab_size, size=(batch_size, encoder_seq_length))
        decoder_inputs_batch = np.random.randint(low=0, high=vocab_size, size=(batch_size, decoder_seq_length))
        decoder_targets_batch = decoder_inputs_batch[:, 1:]

        feed_dict = {
            encoder_inputs: encoder_inputs_batch,
            decoder_inputs: decoder_inputs_batch,
            decoder_targets: decoder_targets_batch
        }

        _, loss_value = sess.run([optimizer, loss], feed_dict=feed_dict)

        if i % 100 == 0:
            print('Iteration %d, loss = %.4f' % (i, loss_value))

在上面的代码中，我们首先定义了输入的占位符，然后定义了编码器和解码器的模型。编码器将输入序列转换为一个固定长度的向量，解码器则将这个向量作为初始状态，并生成输出序列。最后，我们定义了损失函数和优化器，以及训练过程。

需要注意的是，上面的代码只是一个简单的示例，实际应用中可能需要进行更复杂的模型设计和调整。