大数据项目经验：电商数仓建设与云主机选择

该文档是关于一个大数据项目的经验分享，主要涵盖了项目介绍、个人学习历程以及实际项目中的服务器规划和数据存储策略。 在大数据领域，本项目是一个电商数仓项目，涉及数据平台、数据仓库和实时计算系统的构建。在个人经历部分，作者提到通过学习Hadoop、Hive、Flume、Kafka、Spark、HBase和Flink等技术，逐渐深入理解大数据，并在实际工作中积累了经验。作者特别强调了大数据行业的前景和兴趣，这是他选择投身该领域的动机。 项目中，对于大数据环境的搭建，首先从服务器规划开始。公司选择了阿里云的云主机，而非物理机，考虑到云服务的运维便利性和成本效益。服务器配置包括128GB内存、8TB机械硬盘、2TB固态硬盘以及20核40线程的处理能力。与物理机相比，云服务器的年费用更为合理，并且运维工作由阿里云负责。 接下来是集群规划。通过对用户行为日志数据的估算，每天产生的数据量约为100GB。在数仓层级设计中，ODS层、DWD层、DWS/DWT层和ADS层分别进行了数据压缩和存储优化。考虑到冗余备份，总存储需求约为540TB，预留30%的扩展空间，实际需要75TB左右。此外，Kafka中保存的数据量约为1T，而Flume数据则相对较小，可以忽略不计。 业务数据部分，每天100万活跃用户中，10万进行下单，产生约1GB的业务数据，同样按照数仓五层存储策略进行管理。 这个项目体现了大数据处理中的典型步骤，包括数据收集、清洗、转换、存储和分析。同时，也展示了在实际操作中如何根据业务需求和成本效益来规划和配置大数据基础设施。这样的经验分享对于准备面试或者想要进一步了解大数据项目实施的人来说具有很高的参考价值。