数据挖掘技术与应用

数据挖掘 数据挖掘是从大规模的数据中抽取或挖掘出感兴趣的知识或模式的过程或方法。它主要侧重解决四类问题：分类、聚类、关联、预测。数据挖掘技术在商务智能方面的应用包括欺诈检测、垃圾邮件识别、定向营销等。 数据预处理是数据挖掘的重要步骤，包括数据清洗、数据集成、数据变换、数据归约等。数据清洗是指对原始数据进行清洁、转换、标准化，使其更适合于数据挖掘算法的需要，并且能够得到和原始数据相同的分析结果。数据集成是指将来自不同数据源的数据合并成一个统一的数据仓库，以便于数据挖掘。数据变换是指将数据转换为适合数据挖掘算法的形式。数据归约是指缩小数据的取值范围，使其更适合于数据挖掘算法的需要。 分类是指通过建立模型预测离散标签，回归是指通过建立连续值模型推断新的数据的某个数值型属性。常见的机器学习方法有监督学习、无监督学习、半监督学习。决策树、支持向量、K-Means、朴素贝叶斯分类等都是常见的分类方法。 频繁模式挖掘是指从大量数据中发现频繁出现的模式。离群点是指全局或者局部范围内偏离一般水平的观测对象。异常检测的应用包括网络攻击、预测某股票的未来价格、计算公司的总销售额等。 数据仓库是面向主题的数据存储系统，用于支持商务智能和数据挖掘。联机分析处理是数据仓库的主要应用。数据库是面向事务的数据存储系统。 数据分析是指采用适当的统计分析方法对收集到的数据进行分析、概括和总结。特征化是一个目标类数据的一般特性或特性的汇总。 在数据挖掘中，KDD是数据挖掘与知识发现的过程。模式识别的本质是抽象出不同事物中的模式并由此对事物进行分类。医疗诊断、手机的指纹解锁技术、自然语言理解等都是模式识别的研究内容之一。 数据挖掘面临的挑战性问题包括数据类型的多样化、高维度数据、离群点数据、分析与挖掘结果可视化等。