huggingface模型迁移学习
时间: 2023-11-05 07:06:09 浏览: 263
huggingface-workshop:WSS 2020 “使用 Huggingface 在 NLP 中进行迁移学习” https
Huggingface模型迁移学习是指使用Huggingface提供的预训练模型,将其应用于自己的下游任务中,以提高模型的性能。具体步骤如下:
1.选择一个和你的任务类似的任务的预训练模型,或者直接选择一个与任务无关的基础模型。
2.从原有模型中拿出主干部分。
3.开始自己的下游任务,构建成新的模型。
4.开始训练。
Huggingface模型迁移学习的优点在于,它可以大大减少模型训练的时间和资源消耗,同时也可以提高模型的性能。在迁移学习中,tokenizer负责把输入的文本做切分,然后变成向量;model负责根据输入的变量提取语言信息,输出logits;post processing根据模型输出的语义信息,执行NLP任务。
阅读全文