SparkR在生产环境中的扩展：实战经验分享

“Scaling SparkR in Production. Lessons from the Field.” 是一份由Heiko Korndorf在SPARKSUMMIT EUROPE 2016上发表的演讲稿，主要探讨了如何在生产环境中扩展SparkR，以及从实战中汲取的经验教训。这份资料涉及到数据科学、数据工程和管理三个领域，特别是如何通过SparkR将数据科学应用整合到生产管道中。 SparkR是Apache Spark的一个R语言接口，允许数据科学家使用熟悉的R语言进行大规模数据分析。Heiko Korndorf在演讲中首先介绍了他自己的背景，他在多个行业如制造业、电信、金融服务等领域有着丰富的应用经验，专注于ERP、CRM、BI和EAI等领域的解决方案。 演讲内容分为几个部分： 1. **数据科学**：讨论如何使用SparkR来扩展R应用程序，使其能够处理大规模数据。SparkR提供了并行计算的能力，使得R语言可以处理超出单机内存的数据量。 2. **数据工程**：讲述如何将数据科学应用纳入到生产管道中，即如何将R集成到数据工程师的工具箱中。这包括在YARN（Hadoop的资源管理器）上实现SparkR的并行化，以及动态部署R环境，包括依赖项和包的管理。 3. **管理**：讨论了如何通过SparkR整合数据科学和数据工程。这意味着在保持数据科学的灵活性和数据工程的稳定性之间找到平衡，使团队协作更加顺畅。 4. **SparkR架构**：对比了Spark 1.5/1.6版本与Spark 2.0版本下的SparkR架构。在Spark 2.0中，SparkR进一步优化了并行化处理，同时引入了对Spark SQL和MLlib的支持，这使得用户可以直接使用Spark的功能，如执行SQL查询和机器学习任务。 5. **本地与云端**：比较了在本地环境和云环境部署SparkR的差异，强调了弹性（根据需求动态扩展资源）和解耦存储与计算的重要性。 6. **更广泛的生态系统**：可能涵盖了与其他大数据工具和框架的集成，以及SparkR在整体大数据生态中的位置。 7. **展望与未来**：这部分可能讨论了SparkR的发展趋势、可能的新功能，以及如何应对未来的挑战。 这份资料对于那些希望在生产环境中使用SparkR进行大数据分析的数据科学家和工程师来说，提供了宝贵的实际操作经验和战略指导。它涵盖了从基础架构设置到实际应用的各个层面，对于理解如何在企业环境中成功实施SparkR项目非常有帮助。