def init_weights(self): initrange = 0.1 self.decoder.bias.data.zero_() self.decoder.weight.data.uniform_(-initrange, initrange) def forward(self,src): src = src.unsqueeze(2) if self.src_mask is None or self.src_mask.size(0) != len(src): device = src.device mask = self._generate_square_subsequent_mask(len(src)).to(device) self.src_mask = mask src = self.pos_encoder(src) #print('##src',src.shape,self.src_mask.shape) output_1 = self.transformer_encoder(src) #, self.src_mask) output = output_1[0, :, :] output=torch.sum(output,dim=0) # output = self.decoder(output_1[-1]).squeeze(1) return output def _generate_square_subsequent_mask(self, sz): mask = (torch.triu(torch.ones(sz, sz)) == 1).transpose(0, 1) mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0)) return mask

这段代码看起来是一个基于Transformer的模型，主要包括了初始化权重和前向传播两个函数。在初始化权重的函数中，将decoder的bias设为0，权重采用均匀分布初始化。在前向传播的函数中，首先将输入的src张量增加一个维度，然后通过位置编码器对输入进行编码，接着将编码后的输入传入Transformer的encoder中进行编码，得到输出output_1。在这段代码中，未使用self.src_mask，因此可以考虑将其删除。最后，将output_1中的第一个元素作为输出，通过对第一个维度的求和来实现将输出从3D张量降为2D张量。