简单使用bloomz
时间: 2024-01-01 08:06:31 浏览: 100
根据引用提供的信息,使用以下两种方式之一将代码下载到本地:
1. 使用Download下载zip文件。
2. 使用git clone命令克隆代码库:git clone https://github.com/yizhongw/self-instruct.git。
根据引用提供的信息,使用SuperGLUE分类任务评估套件的子集包括Ax-b、Ax-g、BoolQ、CB、WiC、WSC和RTE任务。这些任务是纯英文的,主要是为了方便与先前的工作比较。在每个任务中,从promptsource中随机挑选5个样本,然后在prompt集合上评估所有的模型。
根据引用提供的信息,tokenizer是一个可学习的子词tokenizer,使用Byte Pair Encoding (BPE)算法进行训练。为了不丢失信息,在tokenization的过程中tokenizer从bytes开始创建合并,而不是以字符作为最小单位。这种方式保证了tokenization永远不会产生未知的tokens,因为所有256个字节都可以被包含在tokenizer的词表中。此外,Byte-level BPE最大化了语言之间的词表共享。
关于简单使用bloomz,我需要更多的上下文来回答你的问题。请提供更多的细节或具体的问题,以便我能够帮助你。
阅读全文