![](https://csdnimg.cn/release/download_crawler_static/88006689/bg6.jpg)
首都师范大学
Capital Normal University
第一章 绪 论
1.1 文本自动分类研究的背景和意义
分类最初是应信息检索(Information Retrieval,简称 IR)系统的要求而出
现的,也是数据挖掘应用领域的重要技术之一
[1]
.随着全球计算机与通讯技术的
飞速发展、互联网的普及与应用,信息爆炸的现实使人们越来越注重对自动分
类的研究,文本自动分类及其相关技术的研究也日益成为一项研究热点。信息
检索系统必须操纵大量的文本数据,其文本信息库可能相当庞大。如何在海量
文本信息中获取潜在的、有价值的知识,模型或规则,这就需要引入文本数据挖
掘概念。数据挖掘是从大量的文本数据中提取出事先未知的、可理解的、可应
用的信息和知识的过程。数据挖掘融合了数据库、人工智能、机器学习、统计
学等多个领域的理论和技术,能够对将来的趋势和行为进行预测,从而很好地
支持人们的决策。
文 本 数 据 挖 掘 ( Textual Data Mining ) , 亦 称 文 本 挖 掘 ( Textual
Mining),或者从文本数据库中发现知识,以文本数据为特定挖掘对象的数据
挖掘,是数据挖掘的扩展。
文本挖掘抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值
知识,并且利用这些知识更好地组织信息的过程。1998 年底,国家重点研究发
展规划首批实施项目中明确指出,文本挖掘是“图像、语言、自然语言理解与
知识挖掘”中的重要内容。
文本挖掘利用智能算法,如神经网络、基于案例的推理、可能性推理等,
并结合文字处理技术,分析大量的非结构化文本源(如文档、电子表格、客户
电子邮件、问题查询、网页等),抽取或标记关键字概念、文字间的关系,并
按照内容对文档进行分类,获取有用的知识和信息。
从目前文本挖掘技术的研究和应用状况来看,从语义的角度来实现文本挖
掘的很多,目前研究和应用最多的几种文本挖掘技术有:文档聚类、文档分类
和摘要抽取
[2]
。
(1)文档聚类
首先,文档聚类可以发现与某文档相似的一批文档,帮助知识工作者发现
相关知识;其次,文档聚类可以将一个文档聚类成若干个类,提供一种组织文
档集合的方法;再次,文档聚类还可以生成分类器以对文档进行分类。
文本挖掘中的聚类可用于:提供大规模文档集内容的总括;识别隐藏的文
档间的相似度;减轻浏览相关、相似信息的过程。
聚类方法通常有:层次聚类法、平面划分法、简单贝叶斯聚类法、K-最近
邻参照聚类法、分级聚类法、基于概念的文本聚类等。