厦门大学林子雨：大数据技术概述与应用详解

《大数据技术原理与应用》是由厦门大学计算机科学系的林子雨教授主讲的一门课程，于2018年春季学期在中国大学MOOC平台上开设。该课程针对的是大数据领域的基础知识，包括大数据的概念、存储、处理、分析以及其在现实生活中的广泛应用。课程内容深入浅出，旨在帮助学生理解和掌握大数据技术的核心原理。 1.1 大数据时代：课程从大数据时代的背景出发，探讨了随着信息技术的发展，海量数据的产生和增长对社会、经济产生的深刻变革。它强调了大数据在当今社会中的重要地位，如商业决策、科学研究、智慧城市等领域的影响。 1.2 大数据概念：这一部分介绍了大数据的定义，即数据量大、种类繁多、增长速度快且价值密度低的数据集合。重点在于理解大数据的特点，如4Vs（Volume, Velocity, Variety, Value），即数据量大、更新速度快、类型多样和价值巨大。 1.3 大数据的影响：课程详细讨论了大数据带来的各种影响，如提升决策效率、推动创新、优化业务流程等，同时阐述了大数据如何挑战传统数据管理和分析方法。 1.4 大数据的应用：涵盖了大数据在各个行业的实际应用案例，如金融风控、医疗健康、社交网络、电子商务等，展示了大数据的强大实用价值。 1.5 大数据关键技术：涵盖了Hadoop等分布式计算框架、NoSQL数据库、MapReduce等数据处理工具和技术，以及数据挖掘、机器学习等相关算法，使学生能够了解数据处理的底层技术。 1.6 大数据计算模式：讲解了并行计算、流式计算和批处理等不同大数据处理模式，帮助学生理解如何根据实际需求选择合适的计算策略。 1.7 大数据产业：分析了大数据产业链的构成，包括硬件设备、软件服务、数据分析服务提供商等，以及大数据产业的发展趋势和就业前景。 1.8 大数据与云计算、物联网的关系：解释了大数据与云计算、物联网之间的相互作用，如数据在云基础设施中的存储和处理，以及物联网产生的海量实时数据如何通过大数据技术进行分析。 此外，课程还提供了丰富的学习资源和支持，如大数据软件安装和编程指南，以及配套教材《大数据技术原理与应用》。学生可以通过中国大学MOOC获取课程资料，并访问教材官网http://dblab.xmu.edu.cn/post/bigdata获取更多教学资源和官方支持。这本书被广泛用于国内多所高校的教学，是大数据领域的经典入门教材。