大数据实战：网站分析与框架调度系统构建

"该资源是网易大数据工程师的一份实验报告，名为'网站分析大数据框架调度-火影启源1'，由云课堂用户火影启源于2019年2月25日完成。实验主要涉及大数据调度框架，包括Flume数据同步，MapReduce任务配置，Sqoop数据同步以及Hive的调度与分析。" 在这次实验中，火影启源首先通过Flume实现了数据的自动同步。Flume是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的工具。实验要求使用Flume将指定文件同步到HDFS，设置事件归档时间为1小时，存储格式为lzo，且在HDFS上按天分文件夹存储，避免所有数据集中在单一文件夹。 第二步，配置MapReduce任务，将日志解析到Hive表中，按照日期分区。这涉及到日志的清洗和处理，以及对Hive分区表的管理，确保每个分区只包含对应日期的数据。此外，选做任务是将解析后的文件存储为Parquet格式，这是一种高效存储和查询的列式存储格式。 接着，实验转向了使用Sqoop同步MySQL数据到Hive。 Sqoop是一个用于在Hadoop和传统数据库间进行数据迁移的工具。实验要求同步product、member、order三表或全库，并设置每日全量同步新分区。实验还提出了一个挑战，即设计一个方案使得所有表可以在同一任务中同步，且每个Map任务处理的数据量相对均匀。 在Hive调度部分，实验要求计算每日的PV、UV、订单量、收入以及注册用户数，这需要对Hive SQL有深入理解，包括如何从不同数据源提取信息。同时，需要计算访问特定页面的用户中，在一定时间内完成购买的转化率，以及支持不同页面类型和时间间隔的转化率分析。最后，需要计算每个商品每天的PV和UV，并将结果存储到新的Hive表中。 这个实验全面涵盖了大数据处理中的多个环节，包括数据采集、处理、存储和分析，对于理解大数据框架的工作流程和实际应用具有很高的参考价值。