中文文本自动分类系统：分词与分类器技术探索

"中文文本自动分类系统研究—汉语分词及分类器的设计" 本文详细探讨了中文文本自动分类系统的构建，重点关注了汉语分词技术和分类器的设计。随着互联网信息的爆炸式增长，文本自动分类系统成为了有效管理和检索信息的关键工具。作者杨孝光在其硕士学位论文中，针对大规模、真实文本的实际需求，进行了深入研究。 在汉语自动分词技术部分，论文首先介绍了词语粗切分的策略，结合最短路径方法和全切分方法，提出了一个基于N-最短路径一元统计的粗分模型。此外，对于未登录词（未出现在词典中的词汇）的识别，论文分别针对数词短语、叠字词和名字提出了专门的识别方法，其中名字识别采用了Viterbi算法，结合上下文信息和局部统计量来匹配人名、地名和译名。词性标注排歧则利用CLAWS算法，基于隐马尔科夫模型进行。 在分类器设计方面，论文主要解决了三个核心问题：特征词的抽取、文本的表示以及支持向量机（SVM）方法的应用。特征词抽取借鉴了香农信息学的理论，通过去除高频词词库中的停用词，构建各类型词词库，并设计了特征词加权函数。文本表示采用了向量空间模型，将文本转化为N维空间向量。分类器的设计则是基于支持向量机，提出了一个改进方法，即在线性可分支持向量机上，根据训练过程中的拒识样本信息，加入松弛项T1，以优化分类面，从而实现了一个高效的文本分类器，实验结果表明分类效果良好。 关键词：文本分类，自动分词，分类器，支持向量机，电子科技大学 这篇论文对中文文本自动分类系统的核心技术进行了深入剖析，不仅涉及了基础的汉语处理技术，还涵盖了机器学习领域的高级算法，对于理解和开发此类系统具有重要的参考价值。