gumble softmax
时间: 2023-11-20 12:48:29 浏览: 96
非集计模型及其应用研究
Gumbel Softmax是一种对不可导的argmax操作进行光滑近似的方法。它通过引入Gumbel噪声和Softmax函数来实现。在使用Gumbel Softmax时,我们可以先选择一个较大的温度参数τ,然后逐渐减小τ的值,直到接近0。这样可以逐渐逼近argmax操作。
需要注意的是,Gumbel Softmax和Gumbel Max并不等价。Gumbel Max可以看作是Gumbel Softmax在温度参数τ趋近于0时的极限形式。
通过使用Gumbel Softmax,我们可以在不可导的情况下近似求解argmax操作,从而实现对离散分布的采样。
阅读全文