施宏良：Hadoop安全部署与高级服务详解

施宏良在HBTC2012大会上的演讲主题是"Hadoop Security Overview：从安全基础设施部署到高级服务"。在这场演讲中，他详细讨论了如何确保Hadoop生态系统中的数据处理平台在面临日益增长的安全挑战时，能够提供可靠和安全的服务。主要涵盖以下几个关键知识点： 1. **Kerberos & LDAP**：施宏良首先介绍了Kerberos身份验证系统和Lightweight Directory Access Protocol (LDAP)在Hadoop环境中的作用。他讲解了配置和安装过程，以及这两个技术在实现用户认证和授权中的核心地位。他还强调了Kerberos与Hadoop生态系统的互操作性，确保不同组件之间的安全通信。 2. **Hadoop Security & Services**：深入剖析了Hadoop本身的security特性，如HDFS（Hadoop Distributed File System）中的NameNode和DataNode的安全机制，以及MapReduce中的JobTracker和TaskTracker的通信安全。对于HBase，特别提到了ZooKeeper在Master和RegionServer间的协调作用。他着重介绍了如何通过Token Delegation来保护数据传输过程中的安全性。 3. **Etu Appliance**：施宏良介绍了Etu公司开发的解决方案，包括新功能和关键优势。这部分涵盖了软件栈、版本更新和硬件规格，旨在为用户提供一个安全且高效的Hadoop部署环境。 4. **Troubleshooting**：除了理论层面，他还分享了在实际操作中遇到的常见问题和解决策略，针对Hadoop相关组件的安全问题提供了实用的故障排查方法。 5. **个人背景与经验**：施宏良作为Hadoop系统架构师，拥有丰富的经验和专业知识，他在Grid Computing Centre工作，负责网格操作和技术领导，并在高性能计算领域有着深厚的背景，这使得他对Hadoop的安全性有深刻的理解和实践。 6. **安全的重要性**：通过对Hadoop项目支持的项目（如Hadoop Common、HDFS等）的票务数据分析，施宏良指出大约3.1%的问题与安全相关，强调了在大数据处理环境中实施适当安全措施的必要性。 通过这次演讲，施宏良为参会者提供了一个全面的视角，帮助他们理解如何构建、管理和优化Hadoop的安全框架，以应对不断增长的数据安全需求。