有哪些维吾尔语分词库?
时间: 2023-08-14 14:03:21 浏览: 2167
目前比较常用的维吾尔语分词库包括:
1. Xianyu-Tokenizer:由新疆大学人工智能研究所推出的开源分词工具,支持维吾尔语、汉语、英语等多种语言的分词。
2. Uyghur-Tokenizer:由乌鲁木齐聚众科技有限公司推出的维吾尔语分词工具,采用基于统计的方法进行分词。
3. UyghurSegment:由清华大学推出的维吾尔语分词工具,采用基于规则的方法进行分词。
4. UyghurNLP:由中国科学院软件研究所推出的维吾尔语自然语言处理工具包,包括分词、词性标注、命名实体识别等功能。
以上是我所了解到的一些维吾尔语分词库,希望对您有所帮助。
阅读全文