改进的TF-IDF方法：结合词义的文本特征权重计算

本文主要探讨了结合词义的文本特征词权重计算方法，针对传统向量空间模型（Vector Space Model, VSM）在文本相似度计算中的不足。VSM通常使用TF-IDF算法来衡量文本中特征词的重要性，但这种方法忽视了特征词之间的词义关系，导致文本相似度的准确性受到影响。TF-IDF着重于词频，即一个词在文档中出现的次数与总词数的比例，但它无法捕捉到词语在不同上下文中表达的深层次含义。 为了改进这一问题，研究人员提出了一个结合词义的权重计算策略，利用Chinese WordNet（中文词典网络），这是一种广泛用于自然语言处理的词汇资源，它包含了丰富的词义关系和词的同义词、反义词等信息。通过词义向量余弦相似度，该方法可以度量特征词间的语义关联性，从而更好地反映出词语的实际意义在文本中的重要性。 具体步骤是，首先将文本中的特征词映射到Chinese WordNet的词义空间，然后根据词义相似度调整原始的TF-IDF权重。这样得到的修正权重既考虑了词频，又考虑了词义的差异，提高了文本相似度计算的精度。通过在哈尔滨工业大学信息检索研究室的多文档自动文摘语料库上进行实验，结果表明，使用修正后的特征词权重进行文本相似度计算，显著提升了文本的类别区分能力，证明了该方法的有效性。 关键词包括：文本相似度、特征词权重、词义相似度以及Chinese WordNet。这篇文章的研究成果对于改进文本挖掘和信息检索中的相似度评估具有重要意义，为文本分析和自然语言处理提供了更精确的方法论支持。