class LinearMaskedCoupling(nn.Module): """ Coupling Layers """ def __init__(self, input_size, hidden_size, n_hidden, mask, cond_label_size=None): super().__init__() # stored in state_dict, but not trained & not returned by nn.parameters(); similar purpose as nn.Parameter objects # this is because tensors won't be saved in state_dict and won't be pushed to the device self.register_buffer('mask', mask) # 0,1,0,1 # scale function # for conditional version, just concat label as the input into the network (conditional way of SRMD) s_net = [nn.Linear(input_size + (cond_label_size if cond_label_size is not None else 0), hidden_size)] for _ in range(n_hidden): s_net += [nn.Tanh(), nn.Linear(hidden_size, hidden_size)] s_net += [nn.Tanh(), nn.Linear(hidden_size, input_size)] self.s_net = nn.Sequential(*s_net) # translation function, the same structure self.t_net = copy.deepcopy(self.s_net) # replace Tanh with ReLU's per MAF paper for i in range(len(self.t_net)): if not isinstance(self.t_net[i], nn.Linear): self.t_net[i] = nn.ReLU() def forward(self, x, y=None): # apply mask mx = x * self.mask # run through model log_s = self.s_net(mx if y is None else torch.cat([y, mx], dim=1)) t = self.t_net(mx if y is None else torch.cat([y, mx], dim=1)) u = mx + (1 - self.mask) * (x - t) * torch.exp( -log_s) # cf RealNVP eq 8 where u corresponds to x (here we're modeling u) log_abs_det_jacobian = (- (1 - self.mask) * log_s).sum( 1) # log det du/dx; cf RealNVP 8 and 6; note, sum over input_size done at model log_prob return u, log_abs_det_jacobian 帮我解析代码
时间: 2024-04-12 22:34:36 浏览: 236
这段代码定义了一个名为LinearMaskedCoupling的类,该类继承自nn.Module。LinearMaskedCoupling是一种coupling层,用于在流式生成模型中实现可逆转换。下面对代码进行解析:
在__init__方法中,有以下几个参数:
- input_size:输入数据的维度大小
- hidden_size:隐藏层的维度大小
- n_hidden:隐藏层的数量
- mask:掩码,用于指定哪些输入特征是要保留的(值为1),哪些是要忽略的(值为0)
- cond_label_size:条件标签的维度大小,用于条件版本的生成(可选参数,默认为None)
在__init__方法中,首先调用父类nn.Module的构造函数super().__init__()。然后使用register_buffer方法注册了一个名为mask的缓冲区(buffer),用于存储掩码。这样做的目的是将mask保存在模型的state_dict中,但不作为需要训练的参数返回。
接下来定义了scale function和translation function。两者具有相同的结构,都是由一系列线性层和激活函数组成。其中,scale function用于计算尺度参数log_s,translation function用于计算平移参数t。
在forward方法中,首先根据掩码对输入x进行掩码操作,得到mx。然后根据是否有条件标签y,将mx与y进行拼接,作为输入传递给scale function和translation function,分别计算尺度参数log_s和平移参数t。
最后,根据RealNVP论文中的公式,通过对mx进行逆变换操作,得到u。同时计算对数绝对行列式的Jacobian矩阵(log_abs_det_jacobian)。
最终,函数返回u和log_abs_det_jacobian。
阅读全文
相关推荐

















