网易数据基础平台建设与数据库技术创新

"7-9+网易数据基础平台建设.pdf" 网易数据基础平台建设由网易杭州研究院负责，该研究院致力于构建服务于集团内部的基础平台，并尝试将成熟的技术方案商业化，赋能外部企业。作为浙江省网易大数据重点企业研究院，它支持电商、游戏、传媒、教育、金融等多个部门的数据处理，平台数据量超过100PB。此外，研究院还对外提供数据库和大数据产品，如RDS、DDB、NTSDB、网易猛犸、网易有数和网易哈勃等。 在数据库领域，平台涵盖了多种技术，包括MySQL（如InnoDB存储引擎）、HBase、Impala、Kudu、Druid以及网易自研的时序数据库NTSDB。这些数据库技术用于满足不同的数据存储和处理需求，例如，InnoSQL是网易对MySQL的一个分支，HBase适用于大规模分布式存储，而NTSDB则专为时序数据设计。 大数据技术方面，网易数据平台利用数据仓库和分布式计算技术，如大数据平台网易猛犸和数据分析工具网易有数、网易哈勃，支持数据挖掘和实时分析。其中，Kylin被用于快速查询和分析大规模数据。 平台的核心理念是提供数据服务，而非生成数据。其目标是通过优化功能流程、研发新功能和平台，以降低用户使用成本，满足大规模使用需求，并根据业务需求定制解决方案。例如，InnoRocks是一个特色数据库系统，基于LSM结构，适合大数据量写入，并具备高数据压缩能力，可与DDB配合实现分布式扩展。InnoRocks在存储效率上的优势明显，300GB原始数据在InnoDB中可能占用315GB，但在InnoRocks中仅需50~60GB，约为InnoDB的1/6至1/5。 网易数据基础平台建设展示了在数据库技术与大数据领域的深度研发和创新，为内外部客户提供高效、灵活且适应不同业务场景的数据管理解决方案。通过持续的技术调研和平台优化，该平台能够帮助用户更好地管理和利用数据，提升业务价值。