文本相似度中向量空间模型过滤的规则

向量空间模型中，文本相似度计算通常会使用一些过滤规则来排除一些无用的词语或者进行特定的处理，以提高相似度计算的准确度和效率。常见的过滤规则包括：

1. 停用词过滤：排除一些常见但无实际含义的词语，如“的”、“是”、“在”等。

2. 词干提取：将不同形式的同一单词转化为相同的词干形式，如“running”、“runner”、“runs”都可以转化为“run”。

3. 词频过滤：排除出现频率过低或过高的词语，如只出现一次或者出现次数占比过高的词语。

4. TF-IDF加权：根据词语在文本集合中的频率和在单个文本中的重要性进行加权，以提高计算效果。

5. 相关词汇扩展：根据单词的同义词、近义词、反义词等进行扩展，以增加文本之间的相似度。

这些过滤规则可以根据实际需要进行组合使用，以达到最佳的相似度计算效果。