大数据分析笔记v21:线性回归草稿、SVD技术(201 202)。

需积分: 0 0 下载量 83 浏览量 更新于2024-01-12 收藏 7.43MB PDF 举报
本文是关于《大数据分析期末复习笔记v21》中的一些重要内容的总结。涉及到的主题有1.1 (201 202)、1.1.1、1.1.5、1.3.2以及SVD。 在1.1 (201 202)部分,我们了解到大数据分析的基本概念和原理。这一节的内容包括了大数据分析的定义、产生背景、应用场景以及处理流程。通过学习这部分内容,我们能够对大数据分析有一个整体的了解,并且能够明确它在实际应用中的价值和作用。 在1.1.1部分,我们学习了数据集合并和清洗的方法。数据集合并可以将多个数据源的数据进行整合,清洗可以去除重复、缺失和错误的数据。掌握这些方法可以帮助我们获取更完整、准确的数据集,从而提高后续分析的结果可信度。 在1.1.5部分,我们学习了线性回归的草图方法。线性回归是一种常用的数据分析方法,通过拟合一个线性方程来描述两个变量之间的关系。草图方法是一种简单而直观的线性回归法,通过绘制散点图和拟合线来观察数据的趋势和相关性。掌握这一方法可以帮助我们快速了解数据的线性关系,并进行初步的分析和预测。 在1.3.2部分,我们学习了奇异值分解(SVD)的原理和应用。奇异值分解是一种矩阵分解方法,通过分解一个矩阵为三个矩阵的乘积形式,可以使得原始矩阵更加紧凑和易于处理。SVD在降维、特征提取和矩阵逆等方面有广泛的应用,是大数据分析中常用的数学工具之一。 通过学习以上内容,我们可以对大数据分析的基本原理和方法有一个全面的了解。了解数据的集合并和清洗方法可以帮助我们获取更完整、准确的数据集;掌握线性回归的草图方法可以帮助我们快速了解数据之间的关系;而理解奇异值分解的原理和应用可以帮助我们更高效地处理和分析大规模的数据集。 在实际应用中,大数据分析已经成为了各行业的重要工具和技术。通过对海量数据的整理和分析,可以帮助企业发现潜在的商机和问题,提升效率和创新能力。因此,掌握大数据分析的基本知识和方法,将会为我们的工作和学习带来很大的帮助。
2016-10-31 上传
第一部分 Spark学习 6 第1章 Spark介绍 7 1.1 Spark简介与发展 7 1.2 Spark特点 7 1.3 Spark与Hadoop集成 7 1.4 Spark组件 8 第2章 Spark弹性分布数据集 9 2.1 弹性分布式数据集 9 2.2 MapReduce数据分享效率低 9 2.3 MapReduce进行迭代操作 9 2.4 MapReduce进行交互操作 10 2.5 Spark RDD数据分享 10 2.6 Spark RDD 迭代操作 10 2.7 Spark RDD交互操作 10 第3章 Spark安装 11 第4章 Spark CORE编程 13 4.1 Spark Shell 13 4.2 RDD Transformations 13 4.3 Actions 16 4.4 用RDD编程 17 4.5 UN-Persist存储 18 第5章 Spark调度与高级编程 20 5.1 Spark应用程序例子 20 5.2 Spark-submit语法 22 5.3 Spark变量 23 5.4 数字类型 RDD操作 23 第二部分 ZOOKEEPER学习 24 第6章 zookeeper介绍 25 6.1 zookeeper简介 25 6.2 分布式应用程序 25 6.3 Apache Zookeeper意味着什么? 26 第7章 zookeeper基本组成与工作流程 27 第8章 zookeeper的leader节点选择 31 第9章 zookeeper安装 33 第10章 zookeeper 命令行接口 35 第11章 zookeeper应用程序接口 39 第12章 zookeeper应用 40 第三部分 KAFKA学习 48 第12章 KAFKA介绍 49 12.1 KAFKA简介 49 12.2信息系统 49 12.3 KAFKA是什么? 50 第13章 KAFKA基本组成与集群架构 51 13.1 KAFKA的基本组成 51 13.2 KAFKA集群架构 52 第14章 KAFKA工作流程 53 14.1 PUB-SUB信息工作流 53 14.2 队列信息工作流/消费者组 53 14.3 Zookeeper在KAFKA中扮演的角色 54 第15章 KAFKA安装 55 第16章 KAFKA基本操作 56 16.1 启动zookeeper服务 56 16.2 单个单节点中间件配置 56 16.3 Topics列表 56 16.4 启动生产者发送信息 57 16.5 启动消费者接收信息 57 16.6 单个多节点中间件配置 57 16.7 创建一个topic 58 16.8 启动生产者发送信息 59 16.9 启动消费者接收信息 59 16.10 基本Topic操作 59 16.11 删除Topic 59 第17章 KAFKA 生产者与消费者群实例 60 17.1 生产者实例 60 17.2 简单消费者实例 63 17.3 消费者群例子 65 第18章 KAFKA与SPARK集成 67 18.1 Kafka与spark集成 67 18.2 SparkConf API 67 18.3 StreamingContext API 67 18.4 KafkaUtils API 67 18.5 建立脚本 69 18.6 编译/打包 69 18.7 提交到Spark 69 第四部分HIVE学习 70 第19章 HIVE介绍 71 19.1 HIVE是什么? 71 19.2 HIVE特点 71 19.3 HIVE架构 71 19.5 HIVE工作流 72 第20章 HIVE 安装 74 20.1 Hadoop安装 74 20.2 HIVE安装 77 20.3 Derby安装与设置 78 第21章 HIVE 数据类型 80 21.1列类型(Column Type) 80 21.2文本类型(Literals) 81 21.3 Null 值 81 21.4 复杂类型 81 第22章 数据库操作 82 22.1 创建数据库 82 22.2 删除数据库 82 第23章 数据表操作 83 23.1 创建数据表 83 23.2 load数据(插入数据) 85 23.3 修改数据表(Alter table) 86 23.4 删除表(Drop table) 90 第24章 分区 92 24.1 添加分区(Adding a Partition) 93 24.2 重命名分区(Renaming a Partition) 93 24.3 删除分区(Droping a Partition) 93 第25章 内置运算符 94 25.1 关系运算符 94 25.2 算术运算符 96 25.3 逻辑运算符 97 25.4 复杂运算符(Complex Operators) 97 第26章 内置函数 98 26.1 内置函数 98 26.2 聚合函数(Aggregate Functions) 99 第27章 视图与索引 100 27.1 创建视图(Creating a View) 100 27.2 删除视图(Dropping a View) 100 27.3 创建索引(Creating an Index) 101 27.4 删除索引(Dropping an Index) 101 第28章 HIVEQL 102 28.1 查询语句(SELECT ...WHERE) 102 28.1.1 查询语句实例 102 28.1.2 JDBC查询语句实例 102 28.2 查询语句(SELECT...ORDER BY) 103 28.2.1 ORDER BY查询语句实例 103 28.2.2 JDBC ORDER BY 查询语句实例 104 28.3 查询语句(GROUP BY) 104 28.3.1 GROUP BY查询语句实例 104 28.3.2 JDBC GROUP BY查询语句实例 105 28.4 查询语句(JOIN) 106 28.4.1 JOIN查询语句实例 106