N-gram算法与词表结合的新词识别技术研究

"基于词表和N-gram算法的新词识别实验" 本文主要探讨了一种利用词表和N-gram算法进行新词识别的方法，旨在解决自动标引和信息检索中未登录词的问题，提高其效率。未登录词是指语言处理系统中尚未收录的词汇，它们的存在对文本处理系统的性能产生显著影响。 首先，该方法选择了期刊论文的题目和摘要作为训练语料，这是考虑到题目和摘要通常包含了文章的核心内容和新词出现的高频区域。通过N-gram算法进行切分，生成关键词的候选集合，并统计每个词的词频，这一步骤有助于初步筛选出可能的新词。 接下来，进行了多阶段的过滤过程。词频阈值限定用于排除低频词，减少误识别的可能性；前停后停词典过滤则去除常见的停用词，如“的”、“和”等，这些词在文本中频繁出现但对新词识别意义不大。相郁词比较分析相邻词汇的关系，判断其组合是否构成新词；子父词比较则是通过查找词库中的父词或子词来确定新词的有效性。抽词词典和过滤词典的过滤进一步精炼候选新词列表，确保候选词的准确性和相关性。 最后，经过上述一系列自动化处理后，仍需要人工进行判别，因为机器学习和自然语言处理技术虽然进步显著，但在某些复杂语境下，人工干预仍然是必不可少的环节。 实验结果显示，这种方法简单可行，只需要使用题目和摘要即可进行训练，而且在新词识别方面，摘要甚至可以替代题目，提供足够的信息。这种方法对提高信息检索的准确性具有实际应用价值，特别是在处理大量文本数据时，能够有效提升未登录词的识别率，从而提升整个信息检索系统的效能。 关键词：N-gram算法，未登录词，新词识别，停用词典，过滤词典 中图分类号：G252.7 文献标识码：A 文章编号：1007-7634(20XX)01-0115-05 这项研究提出了一种结合词表和N-gram算法的创新方法，旨在改善信息处理系统对未登录词的识别，提高自动标引和信息检索的效率。通过选用适当的训练语料和精细的过滤策略，该方法显示出了良好的实用性和有效性。