Weka环境入门:数据分析与决策树实验详解

版权申诉
0 下载量 165 浏览量 更新于2024-07-04 收藏 523KB DOC 举报
数据分析与挖掘实验是针对初学者和专业人士提供实践操作的平台,主要使用Weka这一强大的开源数据挖掘工具。该实验旨在帮助学习者熟悉Weka的环境和基本功能,特别是决策树的归纳分类技术。 首先,实验的核心目标是让参与者掌握Weka的工作流程和数据处理能力。Weka适用于Windows系统,需配合JDK1.6版本运行,并推荐使用Weka3.4.17版本。实验环境配置简单,但对数据处理的理解至关重要。 在数据处理方面,实验以二维表格的形式进行,每个实例(Instance)代表一个样本或数据库记录,属性(Attribute)则对应统计学中的变量或数据库字段。这些实例和属性构成了一种关系(Relation),在Weka中表现为ARFF(Attribute-Relation File Format)文件格式。ARFF文件是一种ASCII文本文件,用于存储和组织数据,其结构清晰,便于Weka读取。 ARFF文件由两大部分组成:头部信息(Head information)和数据信息(Data information)。头部信息包括关系声明和属性声明。关系声明位于文件的起始,采用`@relation`标签,指定关系的名称,如果名称含有空格,则需要用引号括起来。属性声明通过一系列`@attribute`语句列出,每个属性都有对应的声明,明确它们的类型和含义。 在实验的实践中,参与者需要打开并理解Weka自带的示例文件“weather.arff”,这是一个标准的ARFF文件,存储了14个实例和5个属性,关系名为“weather”。在实际操作中,可能需要在Notepad++等字符编辑软件中查看文件内容,因为记事本可能会因换行符问题导致显示异常。注释行以“%”开始,会被Weka忽略。 通过这个实验,学习者将不仅了解如何处理和格式化数据,还将学习到如何利用Weka进行决策树的训练和预测,这在数据分析和挖掘领域是非常基础且实用的技能。后续的实验内容可能会逐步深入,探索更复杂的算法和模型,提升数据分析的实战能力。
2022-12-23 上传
《数据挖掘》实验报告0 目录 1.关联规则的基本概念和方法 1 1.1数据挖掘 1 1.1.1数据挖掘的概念 1 1.1.2数据挖掘的方法与技术 1 1.2关联规则 3 1.2.1关联规则的概念 3 1.2.2关联规则的实现——Apriori算法 4 2.用Matlab实现关联规则 6 2.1Matlab概述 6 2.2基于Matlab的Apriori算法 7 3.用java实现关联规则 11 3.1java界面描述 11 3.2java关键代码描述 14 4、实验总结 19 4.1实验的不足和改进 19 4.2实验心得 20 1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里, 数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以 从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的 ,人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现(KDD)的同义词,而另一些人 只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下: ·数据清理(消除噪声和删除不一致的数据) ·数据集成(多种数据源可以组合在一起) ·数据转换(从数据库中提取和分析任务相关的数据) ·数据变换(从汇总或聚集操作,把数据变换和统一成适合挖掘的形式) ·数据挖掘(基本步骤,使用智能方法提取数据模式) ·模式评估(根据某种兴趣度度量,识别代表知识的真正有趣的模式) ·知识表示(使用可视化和知识表示技术,向用户提供挖掘的知识)。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式 识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集 成等许多应用领域的大量技术。数据挖掘主要包括以下方法。 神经网络方法:神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布 存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关 注。典型的神经网络模型主要分3大类:以感知机、bp反向传播模型、函数型网络为代表 的,用于分类、预测和模式识别的前馈式神经网络模型;以hopfield的离散模型和连续 模型为代表的,分别用于联想记忆和优化计算的反馈式神经网络模型;以art模型、koh olon模型为代表的,用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性,人 们难以理解网络的学习和决策过程。 遗传算法:遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿 生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数 据挖掘中被加以应用。sunil已成功地开发了一个基于遗传算法的数据挖掘工具,利用该 工具对两个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传算法是进行数据 挖掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗糙集等技术的结合上。 如利用遗传算法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层 单元;用遗传算法和bp算法结合训练神经网络,然后从网络提取规则等。但遗传算法的 算法较复杂,收敛于局部极小的较早收敛问题尚未解决。 决策树方法:决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类, 从中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适 合大规模的数据处理。 粗糙集方法:粗糙集理论是一种研究不精确、不确定知识的数学工具。粗糙集方法有 几个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗 糙集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展 起来的数据仓库管理系统,为粗糙集的数据挖掘奠定了坚实的基础。但粗糙集的数学基 础是集合论,难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此 连续属性的离散化是制约粗糙集理论实用化的难点。 覆盖正例排斥反例方法:它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。 首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相 容则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取 式)。比较典型的算法有michalski的aq11方法、洪家荣改进的aq15方法以及他的ae5方法 。 统计分析方法:在数据库字段项之间存在两种关系:函数关系(能用函数公式表示的 确定性关系)和相关关系(不能用函数公式表示,但仍是相关确定性关系),对它们的分析 可采用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求 大量数据中的最大值、最小值
2023-03-11 上传
《数据挖掘》 Weka实验报告 姓名 _ 学号_ 指导教师 开课学期 2015 至 2016 学年 2 学期 完成日期 2015年6月12日 1.实验目的 基于http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori - ginal%29的数据,使用数据挖掘中的分类算法,运用Weka平台的基本功能对数据集进 行分类,对算法结果进行性能比较,画出性能比较图,另外针对不同数量的训练集进行 对比实验,并画出性能比较图训练并测试。 2.实验环境 实验采用Weka平台,数据使用来自http://archive.ics.uci.edu/ml/Datasets/Br- east+Cancer+WiscOnsin+%28Original%29,主要使用其中的Breast Cancer Wisc- onsin (Original) Data Set数据。Weka是怀卡托智能分析系统的缩写,该系统由新西兰怀卡托大学开发。Weka使 用Java写成的,并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作 平台,是一款免费的,非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界 面,可结合预处理以及后处理方法,将许多不同的学习算法应用于任何所给的数据集, 并评估由不同的学习方案所得出的结果。 3.实验步骤 3.1数据预处理 本实验是针对威斯康辛州(原始)的乳腺癌数据集进行分类,该表含有Sample code number(样本代码),Clump Thickness(丛厚度),Uniformity of Cell Size(均匀的细胞大小), Uniformity of Cell Shape (均匀的细胞形状),Marginal Adhesion(边际粘连),Single Epithelial Cell Size(单一的上皮细胞大小),Bare Nuclei(裸核),Bland Chromatin(平淡的染色质),Normal Nucleoli(正常的核仁), Mitoses(有丝分裂),Class(分类),其中第二项到第十项取值均为1- 10,分类中2代表良性,4代表恶性。 通过实验,希望能找出患乳腺癌客户各指标的分布情况。 该数据的数据属性如下: 1. Sample code number(numeric),样本代码; 2. Clump Thickness(numeric),丛厚度; 3.Uniformity of Cell Size(numeric)均匀的细胞大小; 4. Uniformity of Cell Shape(numeric),均匀的细胞形状; 5.Marginal Adhesion(numeric),边际粘连; 6.Single Epithelial Cell Size(numeric),单一的上皮细胞大小; 7.Bare Nuclei(numeric),裸核; 8.Bland Chromatin(numeric),平淡的染色质; 9. Normal Nucleoli(numeric),正常的核仁; 10.Mitoses(numeric),有丝分裂; 11.Class(enum),分类。 3.2数据分析 由http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori- ginal%29得到一组由逗号隔开的数据,复制粘贴至excel表中,选择数据——分列——下 一步——逗号——完成,该数据是有关乳腺癌数据集,有11个属性,分别为Sample code number(样本代码),Clump Thickness(丛厚度),Uniformity of Cell Size(均匀的细胞大小),Uniformity of Cell Shape (均匀的细胞形状),Marginal Adhesion(边际粘连),Single Epithelial Cell Size(单一的上皮细胞大小),Bare Nuclei(裸核),Bland Chromatin(平淡的染色质),Normal Nucleoli(正常的核仁), Mitoses(有丝分裂),Class(分类),因为复制粘贴过来的数据没有属性,所以手工 添加一行属性名。Weka分类数据需把excel保存为一个csv文件。 3.2.1 .csv -> .arff 将CSV转换为ARFF最迅捷的办法是使用WEKA所带的命令行工具。 打开weka,之后出现GUI界面,如图1所示: (图1) 点击进入"Exploer"模块,要将.csv 格式转换为 .arff格式,点击open file...,打开刚保存的"乳腺癌数据集.csv