2020美赛C题赛后总结之——文本预处理Pyhotn编程代码

1.背景介绍 美赛C题涉及到文本处理之间的工作，笔者学艺不精，广为搜罗了很多代码加以完善改进，封装成一个个的函数，这些函数都很有针对性，主要应用于文本预处理包括，排序、分词、获取语料库、去标点、统计词频、特征提取、词性还原、去停用词等。 2.任务分析 为了更好地了解代码，我们首先来认识一下数据集的格式。 文中涉及三个数据集microwave.tsv,hair_dryer.tsv, pacifier.tsv 表头都是一样的，以pacifier(奶嘴)为例。 我们要用到的有如下几列。 3.Pyhton代码 库引用 #代码所涉及到的库(部分，其余为引用的将在后面引用) import numpy as