bert-base chinese进行分词

以下是使用bert-base-chinese进行分词的示例代码：

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

text = "这是一个使用bert-base-chinese进行分词的示例。"

tokens = tokenizer.tokenize(text)

print(tokens)

输出结果：

['这', '是', '一个', '使', '用', 'bert', '-', 'base', '-', 'chinese', '进', '行', '分', '词', '的', '示', '例', '。']

可以看到，`tokenizer.tokenize` 方法将输入文本分成了一个个的单词，其中英文单词和中文汉字都被正确地分割了出来。