sklearn TfidfVectorizer

scikit-learn（sklearn）是Python中常用的机器学习库，TfidfVectorizer是其中用于将文本转换成向量的工具之一。TF-IDF是一种统计方法，用于评估一个词语对于一个文档集合中的其中一份文档的重要程度。它由两部分组成：TF（词频）和IDF（逆文档频率）。在使用TfidfVectorizer时，首先会对文本进行分词，然后统计每个词语在该文本中出现的次数，接着计算该词语的TF-IDF值，最后将所有词语的TF-IDF值组成一个向量作为该文本的表示。

使用sklearn中的TfidfVectorizer可以方便地将文本转换成向量表示，从而可以应用于各种机器学习算法，如分类、聚类等。它还提供了一些参数用于对文本进行预处理，如去除停用词、进行词干提取等。