小米Hadoop与HBase微实践：选型与优化案例

在"小米Hadoop&HBase微实践"分享中，小米科技的软件工程师谢良详细探讨了在选择Hadoop和HBase技术栈时的关键考虑因素。他首先阐述了选型的依据，强调了Facebook和阿里巴巴等公司在类似业务场景下的成功实践，这些经验增强了小米在采用Hadoop-HBase组合的信心。 HDFS层面，演讲者提到了几个重要的改进和问题。例如，支持同步HDFS-744提供了类似fsync的功能，增强了数据的安全性。他还讨论了Namenode高可用性（HA）的问题，尽管Facebook使用的AvatarNode方案没有被小米采纳，而是关注了如HDFS-1623、HDFS-3042和QJMHDFS-3077等与HA相关的功能升级。此外，他还提到了优化读写性能的措施，如缩短本地客户端读取的快捷方式HDFS-2246，以及并行写入和同步功能HDFS-895。 在HBase层面，谢良着重讲解了确保同行写入原子性的HBASE-285，这是数据一致性的重要保障。他还提到，对于Datanode的存储管理，当磁盘故障数量小于配置上限时，无需关闭实例，以维持数据的局部性，避免影响HBase服务，这是通过HDFS-457来实现的。 演讲内容还包括对上游重要问题的关注，集群检查清单，以及对社区反馈的回应。整体而言，谢良分享了小米在实际项目中的实践经验，展示了如何处理Hadoop和HBase的挑战，并分享了可能的改进点和最佳实践，为听众提供了深入理解这两个技术在实际生产环境中的应用价值的宝贵见解。