Pure Storage 使用SPARK + FLASHBLADE从产品日志中获取洞察

"SPARKFLASHBLADEDELIVERINGINSIGHTSFROM5PBOFPRODUCTLOGSATPURESTORAGE.pdf" 涉及Pure Storage在2017年SPARK SUMMIT上的演讲，主题是利用SPARK和FLASHBLADE从7PB的产品日志中获取洞察。演讲者Brian Gold来自Pure Storage，讨论了数据密集型计算的全闪存存储解决方案以及如何应对大数据带来的挑战。 在大数据领域，数据量正以指数级增长，包括大量数据（Big Data）和快速数据（Fast Data）。这些数据如果能够被快速、敏捷地处理，就能带来显著的数据优势。Pure Storage强调了敏捷数据的重要性，它应该无需过多努力就能实现，就像Pure Storage在客户满意度方面表现出色一样，其团队能在问题出现之前就将其解决，提高了效率和问题预防能力。 Pure Storage面临的挑战包括使用超过10种不同的分析工具和数百个数据孤岛，以及处理超过5PB的数据。当前的日志分析流程主要依赖原始日志、临时脚本（如grep和awk）以及零散的分析方法。这导致了工程问题票、内部QA测试、产品日志、CRM/销售反馈和制造等多方面的复杂性。 为了解决这些问题，Pure Storage引入了SPARK和FLASHBLADE技术。SPARK是一种流行的开源大数据处理框架，擅长处理大规模数据集，而FLASHBLADE是Pure Storage提供的高性能、横向扩展的全闪存存储解决方案，旨在加速大数据分析。通过结合这两项技术，Pure Storage能够更高效地处理和分析大量的产品日志，从而快速获得洞察，支持决策制定和业务优化。 此外，Pure Storage的分析管道可能涉及将现有的挑战转化为统一的平台，减少分析工具的使用，整合数据孤岛，以及改进日志分析流程，可能包括使用SPARK进行更结构化的分析，提高自动化水平，减少手动干预，从而实现更快、更智能的数据处理。 此文件探讨了如何通过集成SPARK和FLASHBLADE来克服大数据分析中的难题，以提升企业在海量日志数据中的洞察力和响应速度，展示了全闪存存储在大数据环境中的潜力和价值。这样的解决方案对于那些需要实时或近实时分析能力的企业，尤其是在高度竞争的云计算领域，具有重大意义。