sequence_loss_by_example

`sequence_loss_by_example`是TensorFlow中的一个函数，用于计算一个batch中序列的损失值。它的输入包括：

- `logits`：一个形状为 `[batch_size, sequence_length, num_classes]` 的张量，表示模型在每个时间步预测每个类别的概率；
- `targets`：一个形状为 `[batch_size, sequence_length]` 的张量，表示每个时间步的真实类别标签；
- `weights`：一个形状为 `[batch_size, sequence_length]` 的张量，表示每个时间步的权重，通常用于处理padding的影响。

`sequence_loss_by_example`会返回一个形状为 `[batch_size, sequence_length]` 的张量，表示每个时间步的损失值。它的计算方法是先对`logits`进行softmax操作，然后计算交叉熵损失值，并乘以`weights`。最后将所有时间步的损失值求和并除以`tf.reduce_sum(weights)`得到平均损失值。

例如，以下代码演示了如何使用`sequence_loss_by_example`计算一个batch中序列的损失值：

import tensorflow as tf

logits = tf.constant([[[0.1, 0.3, 0.6], [0.9, 0.05, 0.05]], [[0.1, 0.2, 0.7], [0.8, 0.1, 0.1]]])
targets = tf.constant([[2, 0], [2, 0]])
weights = tf.constant([[1., 1.], [0., 1.]])

losses = tf.contrib.seq2seq.sequence_loss_by_example(logits=logits, targets=targets, weights=weights)

mean_loss = tf.reduce_sum(losses) / tf.reduce_sum(weights)

with tf.Session() as sess:
    print(sess.run(losses))
    print(sess.run(mean_loss))

输出结果为：

[[0.5108256  0.0512933 ]
 [0.35738444 0.10536052]]
0.25671452