170 第10 章 新闻语料分类
是否达到100个字符。代码如下：
def get_text_from_node(node):
if len(node) == 0:
# No children, just return text from this item
if node.text and len(node.text) > 100:
return node.text
else:
return ""
明确节点有子节点之后，就对每一个子节点递归调用文本抽取函数，把返回的文本内容拼接
在一起。代码如下：
results = (get_text_from_node(child) for child in node
if child.tag not in skip_node_types)
return "\n".join(r for r in results if len(r) > 1)
上面return语句中的if语句是为了防止返回空行（例如，有的节点没有子节点和文本内容）。
遍历所有的原始网页，从文件里抽取文本，把结果保存到纯文本文件
①
夹中。
for filename in os.listdir(data_folder):
text = get_text_from_file(os.path.join(data_folder, filename))
with open(os.path.join(text_output_folder, filename), 'w')
as outf:
outf.write(text)
打开纯文本文件夹中的文件，查看它们是否有内容。如果很多都不包含新闻报道内容，提升
最少字符限制，我们刚才用的是100。如果设置为更高的值，仍不起作用，或者你的应用对抽取
文本内容有更高的要求，请尝试使用附录介绍的更为复杂的方法。
10.3 新闻语料聚类
本章的目的是通过聚类发现新闻语料中潜藏的趋势。我们将使用诞生于1957年的经典机器学
习算法k-means（k均值）。
聚类属于无监督学习，我们使用聚类算法探索隐藏在数据里的奥秘。我们的数据集由大约500
篇新闻报道组成，人工查看这些文章的主题费时费力。即使使用概括统计方法也不容易，对这种
方法而言数据还是相当多。而聚类分析则可以按照主题把它们分成不同的簇，然后就可以按簇研
究它们的主题。
我们在没有明确的类别的情况下会使用聚类方法。从这个意义上来讲，聚类算法学习时没有
明确的方向性，它们根据目标函数而不是数据潜在的含义来学习。因此，选择聚类效果好的特征
——————————
① 指去除掉网页代码后剩下的文本内容。——译者注
剩余55页未读，继续阅读
