应用驱动数据中心计算：百度林仕鼎解析云计算核心技术

"第五届中国云计算大会上的演讲，主题是应用驱动的数据中心计算，由百度的林仕鼎分享。讨论了数据中心计算的核心概念，包括搜索引擎的工作原理、高吞吐存储模型、去RAID策略、Direct I/O以及分布式系统的可靠性问题。" 在第五届中国云计算大会上，百度的林仕鼎深入探讨了应用驱动的数据中心计算。他的演讲从搜索引擎的角度出发，揭示了数据中心计算背后的关键技术。首先，他介绍了搜索引擎的基本操作，如网页库、倒排表、Web页面和数据挖掘，以及查询服务和网络爬虫。这些过程涉及到了大量的数据处理和存储。 林仕鼎提到了一种基于流的Block I/O模型，这种模型能够实现批量Commit和流式读写，以提高存储系统的吞吐量。他提出通过Blocks构建一个大型“文件”，并强调最大化并行度，去除传统的RAID架构，直接使用裸盘进行数据存储，采用Direct I/O技术，跳过文件系统以提升效率。这种高吞吐的存储结构设计，旨在优化数据读写速度。 他还讨论了如何通过Merge-Sort生成SortedStream，将内存中的数据写入磁盘，并形成排序后的数据块。这种操作对于高效检索和更新至关重要。在存储系统的组织上，林仕鼎提出了一个典型的三层结构：BaseStream、ModStream和Table，以及相关的IndexStream和PatchStream，用于处理数据分区、复制粒度选择以及管理复杂度和数据交换开销的问题。 当谈到分布式系统时，林仕鼎指出，虽然分布式可以提高可靠性，但也带来了三倍的Commit开销。本地I/O的优势在于能够减少数据传输的时间和带宽需求，但同时也需要平衡数据重组和管理的复杂性。 这次演讲涵盖了从基础的搜索引擎工作原理到高级的数据中心存储架构，以及分布式系统设计的诸多方面，展示了应用驱动的数据中心计算如何优化性能和可靠性，为云环境下的大数据处理提供了深刻的洞察。