没有合适的资源?快使用搜索试试~ 我知道了~
首页数据挖掘:与统计分析、数据仓库的关系及特性探讨
本文主要探讨了数据仓库(Data Warehouse)、在线分析处理(OLAP)以及数据挖掘和统计分析之间的关系和区别。首先,数据挖掘被定义为从大量数据中提取有价值信息的过程,其技术如CART、CHAID和模糊计算源于统计理论,但又超越了传统的统计分析,特别是引入了人工智能方法,如决策树,使得分析更具针对性和灵活性。数据挖掘的特点在于其能够处理大规模数据,无需专业统计知识即可使用专门工具,并注重企业用户的应用需求,而非纯粹的学术研究。 数据挖掘与统计分析的联系在于,很多基础思想和技术来源于统计分析,如时间序列分析。然而,数据挖掘在某些方面超越了统计分析,如对趋势预测的专门处理。相比之下,数据仓库则扮演着存储和管理企业大量结构化和非结构化数据的角色,为数据挖掘提供数据源,就像矿坑为采矿工作提供原料一样。数据仓库为数据挖掘提供了稳定的数据集,而数据挖掘则是对这些数据进行深入分析和洞察。 OLAP是数据仓库的一种高级分析工具,它强调的是快速查询和多维分析,以支持决策支持系统(DSS)。OLAP技术通过交互式地浏览、切片和dice数据,帮助用户从多个角度观察数据,发现业务洞察。因此,数据挖掘与OLAP在数据仓库环境中相互补充,前者侧重于深入挖掘数据中的隐藏模式,后者则关注于高效的数据探索。 总结来说,数据挖掘与统计分析和数据仓库的关系是递进的:统计分析是数据挖掘的基础,数据仓库为数据挖掘提供数据支持,而数据挖掘则在此基础上运用更先进的分析技术,帮助企业做出更精确的决策。尽管两者有重叠,但各自的功能和应用场景有所不同,共同构成了现代企业智能分析的重要组成部分。
资源详情
资源推荐
数据仓库、数据仓库、OLAP和数据挖掘、统计分析的关系和区别分析和数据挖掘、统计分析的关系和区别分析
一、什么是数据挖掘
数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效
的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,简单的说,数据挖掘就是从大量数据中提取或“挖掘”知识。
二、数据挖掘相关的10个问题
NO.1 Data Mining 和统计分析有什么不同?
硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊
计算等等理论方法,也都是由统计学者根据统计理论所发展衍生,换另一个角度看,Data Mining有相当大的比重是由高等统
计学中的多变量分析所支撑。在我看来统计分析应是数据挖掘的一脉祖先,因为数据挖掘的许多基本思想和方法都来源于传统
统计理论。最典型的就是时间序列分析,你可以在这两个领域里找到大量时序分析的论述,并且数据挖掘中时序分析的方法与
统计里的时序分析方法相同,比如一元回归等。但是,统计分析中的时序分析并不仅限于此,还有其他一些相关的方法。另
外,数据挖掘里的决策树方法等人工智能方法在传统统计理论中是不存在的。最后可以得出结论,那就是数据挖掘的一些基本
方法来源于统计分析,针对性更强(比如挖掘中的时序分析针对趋势预测),通过与人工智能等其他技术相结合,产生更灵活
有效的分析方式。
但是为什么Data Mining的出现会引发各领域的广泛注意呢?主要原因在相较于传统统计分析而言,Data Mining有下列几项特
性:
1.处理大量实际数据更强势,且无须太专业的统计背景去使用Data Mining的工具;
2.数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件,Data Mining的工具更符合企业需求;
3. 纯就理论的基础点来看,Data Mining和统计分析有应用上的差别,毕竟Data Mining目的是方便企业终端用户使用而非给统
计学家检测用的。
NO.2 Data Warehousing和 Data Mining 的关系为何?
若将Data Warehousing(数据仓库)比喻作矿坑,Data Mining就是深入矿坑采矿的工作。毕竟Data Mining不是一种无中生有
的魔术,也不是点石成金的炼金术,若没有够丰富完整的数据,是很难期待Data Mining能挖掘出什么有意义的信息的。
要将庞大的数据转换成为有用的信息,必须先有效率地收集信息。随着科技的进步,功能完善的数据库系统就成了最好的收集
数据的工具。数据仓库,简单地说,就是搜集来自其它系统的有用数据,存放在一整合的储存区内。所以其实就是一个经过处
理整合,且容量特别大的关系型数据库,用以储存决策支持系统(Design Support System)所需的数据,供决策支持或数据
分析使用。从信息技术的角度来看,数据仓库的目标是在组织中,在正确的时间,将正确的数据交给正确的人。
许多人对于Data Warehousing和Data Mining时常混淆,不知如何分辨。其实,数据仓库是数据库技术的一个新主题,利用计
算机系统帮助我们操作、计算和思考,让作业方式改变,决策方式也跟着改变。
数据仓库本身是一个非常大的数据库,它储存着由组织作业数据库中整合而来的数据,特别是指事务处理系统OLTP(On-
Line Transactional Processing)所得来的数据。将这些整合过的数据置放于数据昂哭中,而公司的决策者则利用这些数据作
决策;但是,这个转换及整合数据的过程,是建立一个数据仓库最大的挑战。因为将作业中的数据转换成有用的的策略性信息
是整个数据仓库的重点。综上所述,数据仓库应该具有这些数据:整合性数据(integrated data)、详细和汇总性的数据
(detailed and summarized data)、历史数据、解释数据的数据。从数据仓库挖掘出对决策有用的信息与知识,是建立数据仓库
与使用Data Mining的最大目的,两者的本质与过程是两回事。换句话说,数据仓库应先行建立完成,Data mining才能有效率
的进行,因为数据仓库本身所含数据是干净(不会有错误的数据参杂其中)、完备,且经过整合的。因此两者关系或许可解读为
Data Mining是从巨大数据仓库中找出有用信息的一种过程与技术。
NO.3 OLAP能不能代替 Data Mining?
所谓OLAP(Online Analytical Process)意指由数据库所连结出来的在线分析处理程序。有些人会说:「我已经有OLAP的工
具了,所以我不需要Data Mining。」事实上两者间是截然不同的,主要差异在于Data Mining用在产生假设,OLAP则用于查
证假设。简单来说,OLAP是由使用者所主导,使用者先有一些假设,然后利用OLAP来查证假设是否成立;而Data Mining则
是用来帮助使用者产生假设。所以在使用OLAP或其它Query的工具时,使用者是自己在做探索(Exploration),但Data
Mining是用工具在帮助做探索。
举个例子来看,一市场分析师在为超市规划货品架柜摆设时,可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品,接
着便可利用OLAP的工具去验证此假设是否为真,又成立的证据有多明显;但Data Mining则不然,执行Data Mining的人将庞
大的结帐数据整理后,并不需要假设或期待可能的结果,透过Mining技术可找出存在于数据中的潜在规则,于是我们可能得到
例如尿布和啤酒常被同时购买的意料外之发现,这是OLAP所做不到的。
Data Mining常能挖掘出超越归纳范围的关系,但OLAP仅能利用人工查询及可视化的报表来确认某些关系,是以Data Mining
此种自动找出甚至不会被怀疑过的数据模型与关系的特性,事实上已超越了我们经验、教育、想象力的限制,OLAP可以和
Data Mining互补,但这项特性是Data Mining无法被OLAP取代的。
NO.4完整的Data Mining 包含哪些步骤?
下载后可阅读完整内容,剩余3页未读,立即下载
weixin_38607311
- 粉丝: 6
- 资源: 911
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- ASP.NET数据库高级操作:SQLHelper与数据源控件
- Windows98/2000驱动程序开发指南
- FreeMarker入门到精通教程
- 1800mm冷轧机板形控制性能仿真分析
- 经验模式分解:非平稳信号处理的新突破
- Spring框架3.0官方参考文档:依赖注入与核心模块解析
- 电阻器与电位器详解:类型、命名与应用
- Office技巧大揭秘:Word、Excel、PPT高效操作
- TCS3200D: 可编程色彩光频转换器解析
- 基于TCS230的精准便携式调色仪系统设计详解
- WiMAX与LTE:谁将引领移动宽带互联网?
- SAS-2.1规范草案:串行连接SCSI技术标准
- C#编程学习:手机电子书TXT版
- SQL全效操作指南:数据、控制与程序化
- 单片机复位电路设计与电源干扰处理
- CS5460A单相功率电能芯片:原理、应用与精度分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功