tansformer中文分词示例

Transformer 是一种机器学习模型，可以用来进行中文分词。下面是一个简单的例子：

from transformers import pipeline

# 使用 transformers 库中的 pipeline 函数调用中文分词模型
segmenter = pipeline("chinese-segmenter")

# 分词
segmenter("我们在北京的天安门广场玩。")

# 输出: [{'word': '我们'}, {'word': '在'}, {'word': '北京'}, {'word': '的'}, {'word': '天安门'}, {'word': '广场'}, {'word': '玩'}, {'word': '。'}]

在上面的示例中，我们使用了 transformers 库中的 pipeline 函数调用中文分词模型，并对句子 "我们在北京的天安门广场玩。" 进行了分词。输出结果是一个列表，其中每个元素是一个字典，包含一个词和它的词性标注。