重庆交大2023-2024大数据平台实验4：Spark环境搭建与Pi值计算

本实验文档是重庆交通大学信息科学与工程学院计算机科学与技术2104班学生邹鹏声的实验报告，针对大数据平台技术课程的Spark分布式内存计算部分。实验的目的是让学生掌握Spark计算环境的搭建和Scala/Python语言在Spark中的应用。 实验四的主题是Spark计算环境的搭建，包括以下步骤： 1. 学生需在Linux系统环境下，利用VirtualBox虚拟机和Hadoop、Spark等软件进行操作。首先，从Spark官网下载并解压安装包到指定目录，如/usr/local，并修改配置文件spark-env.sh以确保Hadoop与Spark的集成。 2. 学习者可以选择Scala、Python或Java之一作为编程语言，设置相应的编程环境。例如，安装Python3、pip3、findspark和jupyter等工具，并提供相关安装过程的截图以证明安装完成。 实验的第二部分是通过Spark环境计算圆周率Pi。学生需要： - 使用Spark提供的SparkPi示例程序来演示如何计算Pi，这展示了Spark在处理大规模数据时的性能优势。 - 用Scala、Python或Java编写自己的Pi计算程序，这涉及到编程技巧和对Spark API的理解。 实验要求严格，包括保存和备份程序，确保程序经过测试且正确无误，以及详细记录实验过程和结果。实验报告应包含每个部分的详细步骤、截图、程序代码以及运行效果，以便评估学习者的理解和实践能力。 在整个过程中，学生不仅能提升对Spark技术的掌握，还锻炼了他们的系统管理技能、编程实践和文档记录能力，这些都是大数据领域不可或缺的技能。通过这个实验，他们将能深入理解大数据平台技术在实际项目中的应用，为未来的工作和研究打下坚实的基础。