2021高职大数据竞赛：外卖平台数据评估与技术应用任务书

本次任务书针对的是2021年全国职业院校技能大赛高职组的"大数据技术与应用"赛项，参赛队伍需要运用大数据技术进行深入分析和项目开发。项目背景聚焦于外卖行业的巨大市场潜力，特别是餐饮和外卖服务的快速增长。ChinaSkills公司计划进入外卖平台市场，需要通过大数据技术来评估市场、识别痛点并洞察消费者需求。 首要任务是模块A：Hadoop平台及组件的部署和管理，占总分的15分。在这个部分，参赛者需要在Hadoop平台上进行全分布部署。首先，他们需要在master、slave1和slave2三个节点上完成以下操作： 1. **JDK部署**：参赛者需要解压在/chinaskills目录下的JDK包至/usr/local/src路径，并在报告中提供完整的命令行操作，确保环境设置正确。 2. **环境变量配置**：在/root/.bash_profile文件中设置JDK环境变量，只对当前root用户生效。这涉及修改文件，添加或更新相应的JAVA_HOME和PATH变量，以便系统能够识别和调用JDK。 在Hadoop的部署过程中，可能涉及以下步骤： - **Hadoop安装**：安装Hadoop，包括HDFS（分布式文件系统）和MapReduce（用于处理大量数据的并行计算框架），通常会安装Hadoop Distributed File System (HDFS)、Hadoop MapReduce以及Hadoop YARN组件。 - **配置核心文件**：如core-site.xml、hdfs-site.xml和mapred-site.xml，用于设置Hadoop的配置参数，如namenode和datanode的地址、副本数量、网络配置等。 - **启动守护进程**：启动Hadoop的HDFS和YARN守护进程，确保集群正常运行。 - **验证部署**：检查Hadoop是否成功安装并运行，通过命令行工具如`hadoop fs -ls`、`jps`等确认各个服务是否响应。 此外，项目还将使用其他技术工具，如Spark（用于实时数据处理）、MySQL（数据库存储）、Scrapy（数据抓取工具）、Flask（微Web框架）和ECharts（数据可视化工具）来完成数据获取、处理、清洗、分析和结果展示。这些工具将用于处理外卖平台的数据，发现用户行为模式、市场趋势、订单分布等关键信息，最终为ChinaSkills公司的投资决策提供数据支持。 参赛团队需要编写详细的综合报告，记录每个阶段的操作步骤、遇到的问题解决方案以及数据分析结果。这份报告不仅要展现技术实施过程，还要体现团队对大数据技术的理解和应用能力，以及如何结合实际场景解决问题的能力。在整个项目中，安全性、数据隐私和性能优化也是重要的考量因素。