PaddleNLP 分词
时间: 2024-03-16 17:23:29 浏览: 116
基于NLP技术实现的中文分词插件,准确度比常用的分词器高太多,同时提供ElasticSearch和OpenSearch插件
PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理工具库。在PaddleNLP中,分词是中文NLP的第一步。在实现分词的过程中,可以使用PaddleHub来进行简单的实现,因为只有划分了词语,才能将这些词语进行向量化,进而进行词嵌入以及其他后续操作。对于分词模型,其中一种常用的模型是Jieba切词,但在Paddle平台上,可以直接使用现成的LAC分词模型。此外,Paddle平台上提供了免费的GPU资源,其中包括Telsa V100显卡,这是一种非常昂贵的显卡型号。因此,通过PaddleNLP和Paddle平台,可以方便地实现中文分词任务。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [中文NLP的第一步:分词,基于 PaddleHub 实现,绝对小白友好(学习心得)](https://blog.csdn.net/qq_42067550/article/details/106026629)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
阅读全文