按照这个例子继续nnlm的计算
时间: 2023-08-12 14:48:35 浏览: 102
神经网络语言模型nnlm
5星 · 资源好评率100%
好的,接下来我们假设该NNLM模型的第二层是一个带有softmax激活函数的全连接层,用于将隐藏层的向量转换为预测下一个单词的概率分布。假设该层的权重矩阵为(50,10),表示50个隐藏单元到10个输出单元的映射。
那么,第二层的计算可以表示为:
hidden_state x W' + b
其中hidden_state是上一层的输出,也就是1x50的向量;W'是第二层的权重矩阵,形状为50x10;b是偏置向量,形状为1x10。
接下来,我们可以将这个计算结果输入到softmax激活函数中,得到预测下一个单词的概率分布。具体而言,我们可以使用以下公式计算:
softmax(x) = exp(x) / sum(exp(x))
其中x是上一步计算得到的1x10向量,exp是指数函数,sum是所有元素的和。这个公式将x中每个元素e^x_i取指数,然后除以所有元素的和,得到一个概率分布。最终,我们可以得到预测下一个单词的概率分布向量。
阅读全文