大数据项目经验分享：自我介绍与面试辅导

“自我介绍及项目串讲.doc 大数据项目+项目介绍+面试辅导”文档主要涵盖了大数据领域的项目经验和求职面试技巧，包括自我介绍、大数据项目实战以及服务器和集群规划的相关知识。 一、自我介绍部分 这位求职者具有四年的大数据开发经验，曾在两家公司任职。他在第一家公司的主要任务是参与大数据平台的从零搭建，采用了阿里巴巴的数仓架构，成功建立了离线数仓，并在后期进行了升级优化，增加了DWT层。在第二家公司，他负责实时模块的开发，利用Flume采集数据，Kafka作为中间件，SparkStreaming处理数据，最终将结果存储在HBase中，同时也支持数据写入ES和MySQL进行可视化展示。个人方面，他热衷于技术学习，积极主动，周末喜欢与同行交流新技术。 二、大数据项目经验 1. 离线数仓项目：基于阿里数仓架构，从无到有搭建大数据平台，经过半年的努力实现稳定运行，后期进行了升级优化，增加了DWT层，提升了数据查询效率。 2. 实时数据处理项目：设计并实施了实时数据处理系统，使用Flume收集用户行为数据，Canal监控MySQL变化，通过SparkStreaming进行实时计算，数据存储在HBase中，同时支持数据展示在ES和MySQL上。 三、服务器购买及集群规划 针对预计的120万活跃用户每天产生的120GB数据量，规划了包含10台物理机的集群，每台配置8TB SSD硬盘和128GB内存。集群设计如下： 1. ResourceManager (RM) 和 NodeManager (NM) 分开，确保资源管理与任务执行的分离，提高效率。 2. ZooKeeper (ZK) 三节点部署，提供高可用的服务注册和发现。 3. Kafka 三节点部署，处理数据传输，与Flume形成紧密的数据流。 4. Flume 三节点部署，负责数据采集和传输。 5. HBase 部署多个节点，用于海量数据的存储和快速查询。 6. Hive 提供数据仓库功能，便于数据分析。 7. MySQL 存储部分数据，支持业务操作。 8. Redis 作为缓存服务，提高数据访问速度。 9. Spark 用于大数据处理，包括实时计算。 10. Elasticsearch (ES) 提供数据的搜索和分析能力。 集群规划考虑了服务的冗余和负载均衡，确保系统的稳定性和可扩展性。 总结来说，这个文档为求职者提供了全面的大数据项目经验和面试准备，涵盖了从基础架构设计到具体技术应用的各个环节，对于理解大数据开发的工作流程和技术栈有着重要的参考价值。