def load_from(self, weights, n_block): ROOT = f"Transformer/encoderblock_{n_block}" with torch.no_grad(): query_weight = np2th(weights[pjoin(ROOT, ATTENTION_Q, "kernel")]).view(self.hidden_size, self.hidden_size).t() key_weight = np2th(weights[pjoin(ROOT, ATTENTION_K, "kernel")]).view(self.hidden_size, self.hidden_size).t() value_weight = np2th(weights[pjoin(ROOT, ATTENTION_V, "kernel")]).view(self.hidden_size, self.hidden_size).t() out_weight = np2th(weights[pjoin(ROOT, ATTENTION_OUT, "kernel")]).view(self.hidden_size, self.hidden_size).t()出现错误Transformer/encoderblock_0\\MultiHeadDotProductAttention_1/query\\kernel该怎么解决
时间: 2024-04-06 16:34:40 浏览: 108
解决Tensorflow2.0 tf.keras.Model.load_weights() 报错处理问题
这个错误是因为你的模型中没有名为"Transformer/encoderblock_0/MultiHeadDotProductAttention_1/query/kernel"的权重,你需要检查一下你的模型权重文件中是否存在这个权重。如果不存在,你需要重新训练模型或者使用其他预训练模型权重。如果存在,你需要检查一下你的代码是否正确地加载了这个权重。
阅读全文