huggingface 的模型区别
时间: 2023-09-21 16:12:37 浏览: 293
Huggingface的模型区别主要是根据其储存位置的设置方法来区分。在引用中提到了修改huggingface模型储存位置的设置方法,这是一种全局变量设置的方式。也就是说,通过设置全局变量,可以将所有的huggingface模型的储存位置进行统一的修改。
另外,在引用中提到了一种局部变量设置的方法。这种方法可以针对某个具体的模型进行储存位置的设置。具体代码如下所示:
```
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", cache_dir="/home/transformers/huggingface/model")
model = AutoModel.from_pretrained("bert-base-uncased", cache_dir="/home/transformers/huggingface/model")
```
通过在初始化模型和分词器的时候指定`cache_dir`参数,可以实现对某个模型的储存位置进行设置。
综上所述,Huggingface的模型区别主要在于储存位置的设置方法,可以通过全局变量设置或局部变量设置来实现。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [修改huggingface模型的储存位置的设置方法](https://blog.csdn.net/weixin_43178406/article/details/128743349)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* [NLP实战-Huggingface神器](https://download.csdn.net/download/u011063343/87671549)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文