微博文本聚类：Word2vec驱动的特征扩展提升效果

这篇论文研究的焦点在于解决微博文本在聚类分析中的挑战，特别是由于其高维、稀疏的特性导致的相似度计算困难。微博文本通常由简短的消息组成，每条信息的长度限制使得特征表达较为有限，这直接影响了文本分类和聚类的效果。为了改善这种状况，作者探讨了现有的文本扩展策略，如依赖外部知识库（如同义词词林）进行特征补充。 传统的特征扩展方法，如基于知识网络、维基百科或搜索引擎的外部资源，虽然可以增加词汇量，但存在几个关键问题。首先，这些外部知识库的信息更新不及时，对于微博这样实时性强的平台，可能存在信息过时的问题。其次，人工编纂的知识库往往不全面，无法覆盖所有领域的细节，缺乏全局性和一致性。此外，短文本，如微博，对这类方法的需求更为迫切，因为它们依赖词典的程度较高。 为了解决这些问题，论文提出了一种创新的解决方案，即利用Word2vec这一机器学习技术。Word2vec是一种能够学习词汇之间关系的算法，它可以从大量的微博语料中自动学习词汇的上下文关联，生成一个针对微博数据的扩展词典。这种方法能够捕捉到词汇在实际语境中的动态含义，有助于增强微博文本的表达力，并且更贴近用户的实际交流内容。 通过训练得到的微博特定词典，论文作者将种子词表和微博标签信息融入其中，进一步扩展微博文本中的关键词，以增强文本特征。这种方法不仅提高了信息的全面性，还减少了对人工知识库的依赖，从而提高了微博文本聚类的性能。实验证明，经过Word2vec词向量相关词和微博标签扩展后的微博文本，其聚类效果得到了显著提升，证明了这种方法的有效性和实用性。 这篇论文深入研究了微博文本特征扩展策略，通过引入机器学习技术优化了文本扩展过程，为解决高维、稀疏的微博文本聚类问题提供了新的思路，为相关领域的研究和应用提供了有价值的技术支持。