显就是用户恶搞的数据,我们一般使用数据分析的手段把这种脏数据剔除掉,而我们不需要关心处理
后的数据是什么样子的,这就是数据分析中的一种数据预处理手段。
数据挖掘:从字面意思上看,是从数据中挖掘出有价值的信息。比如,超市通过对一段时间的客户消
费记录能发现,哪些物品经常被顾客一起购买。那么,就可以把这些物品摆放的位置近一些,或者一
起促销。在这里,客户的消费记录是“数据” ,“挖掘” 出的信息是哪些商品经常被一起购买。
“价值” 指的是超市可以据此搞促销,提高超市的销售额。挖掘出这些有价值信息的方法就是课程中
需要学习的。数据挖掘关注的是一些方法如何在商业中应用,并不是纯粹的理论和学术。数据挖掘涉
及到很多的算法,源于机器学习的神经网络,决策树,也有基于统计学习理论的支持向量机,分类回
归树,和关联分析的诸多算法,值得庆幸的是 Python 中的 Scikit-learn库 中提供了以上所有的算
法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。
较于数据分析的简单分析,数据挖掘则不同,数据挖掘是对信息的价值化的获取。价值化自然不考虑
数据本身,而是考虑数据是否有价值。由此,一批数据,你尝试对它做不同的价值挖掘。评估,则就
是数据挖掘。此时对比数据分析,最大的特点就是,你需要调整你的不同的先验约束,再次对数据进
行分析。而先验的约束已经不是针对数据来源自身的特点,例如信噪比处理算法。而是你期望得到的
一个有价值的内容,做先验的约束。以观测,数据根据这个约束,是否有正确的反馈。也就是说,数
据挖掘相比较数据分析看重的更是结果,而不看重过程。
举个例子说明数据分析和数据挖掘:你揣着50元去菜市场买菜,对于琳琅满目的鸡鸭鱼猪肉以及各类
蔬菜,想荤素搭配,你逐一询问价格,不断进行统计分析,能各自买到多少肉,多少菜,大概能吃多
久,心里得出一组信息,这就是数据分析;而关系到你做出选择的时候就需要对这些信息进行价值评
估,根据自己的偏好,营养价值,科学的搭配,用餐时间计划,最有性价比的组合等等,对这些信息
2.2 数据挖掘(Data Mining)
<http://www.chenyoude.com/%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98/001-
%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%92%8C%E4%BA%BA%E5%
B7%A5%E6%99%BA%E8%83%BD%E7%A7%91%E6%99%AE-07.jpg?x-oss-
process=style/watermark>