Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at THUDM\chatglm-6b and are newly initialized: ['transformer.prefix_encoder.embedding.weight'] You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference. The dtype of attention mask (torch.int64) is not bool
时间: 2024-04-25 11:27:38 浏览: 380
face-api.js使用模型
这个警告信息表示在加载预训练模型时,发现了一些权重没有被初始化,其中包括了transformer.prefix_encoder.embedding.weight。这通常是因为你的当前模型与预训练模型的结构不完全匹配,导致一些权重无法匹配。警告信息建议你在下游任务中训练模型,以便使用模型进行预测和推理。另外,还有一个警告信息表示注意力掩码的数据类型是torch.int64,而不是bool类型。这可能会导致一些问题,因为在一些操作中要求注意力掩码的数据类型必须是bool类型。你可以将掩码强制转换为bool类型来避免这个问题。
阅读全文