"Hadoop-Spark集群环境搭建及NGC2266数据处理实践"

本文主要介绍了团队在《大数据原理与应用》课程中的实验作业，内容包括Hadoop-Spark集群环境的搭建和NGC2266数据的处理。团队成员包括湖人总冠军、钟冠霆、陈华志、谢雨辰、皮心怡和朱智涛，所属班级为17软件一班，任课老师是王伟华。 实验作业的内容主要包括以下几个方面： 1. Hadoop-Spark集群环境搭建 团队首先进行了Hadoop-Spark集群环境的搭建工作，采用的是Spark 2.1-preview for hadoop-2.7版本。团队成员通过Downloads | Apache Spark​spar官方网站下载了Spark，并按照相关的教程进行了安装和配置。 2. NGC2266数据处理 接着团队进行了疏散星团NGC2266的大数据处理工作。在这一部分，团队成员需要利用PySpark环境搭建相关的数据处理程序，并对NGC2266的大数据进行清洗、分析和可视化处理。 团队成员在实验作业中合作紧密，共同攻克了Hadoop-Spark集群环境搭建和NGC2266数据处理的挑战。他们通过分工合作，克服了各种困难，最终完成了实验任务。 整个实验作业的过程充满了挑战和收获。团队成员通过实际操作，加深了对Hadoop-Spark集群环境搭建和大数据处理的理解，提高了团队协作能力和解决问题的能力。同时，他们也对实际的科研工作有了更深入的认识，为将来的学习和研究打下了坚实的基础。 通过这次实验作业，团队成员不仅学到了专业知识，更重要的是培养了团队合作精神和实际动手能力。在未来的学习和工作中，这些能力都将成为他们的宝贵财富，为他们走向更高的科研和职业道路奠定坚实的基础。 总的来说，这次实验作业不仅加深了团队成员对大数据原理与应用的理解，更重要的是锻炼了他们的实际操作能力和团队合作精神。这些都将成为他们未来学习和工作的宝贵财富，让他们在未来的道路上走得更加坚定和自信。