使用python icu分词

使用Python ICU分词的方法如下：

首先，确保已经安装了PyICU库。可以使用以下命令进行安装：

pip install PyICU

然后，导入必要的库和模块：

import icu

接下来，创建一个ICU分词器对象：

tokenizer = icu.BreakIterator.createWordInstance(icu.Locale())

然后，使用ICU分词器对文本进行分词：

text = "This is a sample text."
tokenizer.setText(text)

start = tokenizer.first()
end = tokenizer.next()

while end != icu.BreakIterator.DONE:
    word = text[start:end]
    print(word)
    start = end
    end = tokenizer.next()

运行以上代码，将会输出以下结果：

This
is
a
sample
text