网易吴一男揭秘通用搜索优化：云服务与数据分析策略

在SDCC 2013年的“大数据分析与BI专题论坛”上，网易杭州研究院的技术经理吴一男分享了题为《网易通用搜索优化之道》的演讲。该演讲深入探讨了网易如何构建和优化其通用搜索系统，以及未来的发展策略。 首先，演讲介绍了背景和需求。随着网易众多产品对搜索功能的需求日益增长，通用搜索与定制搜索之间的区别变得显著。吴一男提到，网易面临的是如何提供一个既能满足不同产品需求，又易于维护和扩展的搜索服务。市场上的解决方案包括开源产品如Solr、ElasticSearch和云搜索服务，如Amazon CloudSearch和阿里云搜索，以及淘宝的TSearcher。 在实现方面，吴一男详细解析了通用搜索系统的架构，核心组件包括基于Lucene的索引/检索引擎、实时索引Zoie、分布式系统设计（如分区、镜像、主从模式和动态扩容）、DataStream用于数据接入，以及HTTP/REST API和Java SDK作为服务接口。配置管理通过Zookeeper进行，同时支持插件化以适应定制化需求。监控系统关注主机、进程、服务可用性和应用状态，日志管理也非常重要。 演讲还着重讲解了搜索的云服务化，其目标是为产品开发者提供轻量级运维，简化使用和降低成本，同时保证资源的弹性、共享和高效利用。云服务化的架构主要包括通用搜索系统NDIR在云平台资源（如云主机、云硬盘和网络）上的部署，以及管理服务器和前端的配合。数据服务接口保持兼容性，云平台资源如NVS（弹性计算）、NBS（弹性存储）和浮动IP资源被有效利用。 未来的系统改进计划包括资源分离，提高计算资源的高可用性，采用HDFS确保数据可靠性，以及将索引处理与HBase相结合，以实现更独立的索引资源管理。此外，演讲还提到了IndexDispatcher、LogQueue、IndexStore等关键组件的优化，以及如何通过这些改进来提升搜索性能和服务质量。 吴一男的演讲揭示了网易在通用搜索领域的技术实践，强调了从系统实现到云服务化的全面优化策略，以及对未来发展的前瞻性思考，这对于理解和优化企业的搜索服务具有很高的参考价值。