但彬分享：Hadoop平台上的大数据整合与价值提升

"但彬在2012云计算架构师峰会上分享了关于Hadoop平台大数据整合的主题，讨论了C时代数据的爆发性增长以及大数据的定义、类型和挑战。他指出，大数据包括大交易数据、大交互数据和大数据处理，涵盖了在线交易、分析处理、社交媒体数据、其他交互数据等多个领域。面对大数据的洪流，需要合理疏导和利用，而 Informatica 在数据处理方面具有专业优势，提供了解决方案以提升大数据的价值。Hadoop作为关键的大数据处理平台，具备扩容能力、低成本、高效率和可靠性等特性，其核心是HDFS和MapReduce。Informatica致力于通过高效的数据集成和预定义转换，实现大数据的‘提炼’，以改善决策、业务现代化、降低成本和提高效率。" 在【但彬-Hadoop平台的大数据整合】的分享中，重点强调了以下几个知识点： 1. **C时代的数据增长**：随着24小时在线和全方位网络覆盖，数据量呈现爆炸性增长，涵盖了在线交易、在线分析、数据仓库设备、社交媒体、科学、基因、机器和设备等各个领域的数据。 2. **大数据定义与分类**：大数据（BigData）综合了大交易数据（如在线交易处理OLTP）、大交互数据（如社交媒体数据和点击流数据）以及大数据处理，涉及到不同格式和来源的数据。 3. **大数据集成挑战**：面对各种各样的数据和标准，如服务资料库、平面文件、交互数据、XML等，需要有效的工具进行数据整合，确保数据的全面性、可靠性、可访问性和安全性。 4. **大数据价值提升**：通过大数据的处理和分析，可以改善决策、实现业务现代化、提高效率和降低成本，支持合并收购、客户关系管理、风险合规性、预测分析等业务场景。 5. **Hadoop的特点**：Hadoop是一个强大的大数据处理框架，它具有良好的扩容能力，能够在大量普通机器组成的集群上经济高效地处理PB级数据。通过数据分布式存储和MapReduce计算模型，Hadoop能够快速、可靠地执行大规模数据处理任务。 6. **Informatica的角色**：作为专注于数据处理的公司，Informatica提供直观解析环境和预定义转换，用于任何数据集成/商业智能体系结构，如PIG、EDW、MDM等，旨在提升大数据的“提炼”过程，帮助企业和组织更好地管理和利用大数据资源。 7. **大数据应用**：通过大数据处理，可以实现预测分析、客户分析、模式识别（如欺诈检测）、风险和投资组合分析、优化（如价格和供应链优化），从而为企业创造更多价值。 通过理解和应用这些知识点，企业和技术专家可以更好地应对大数据带来的机遇与挑战，有效利用Hadoop平台进行大数据整合，提升业务效率和决策质量。