刘连春：构建实时垂直搜索网站的Hadoop与大数据实践

在【Hadoop与大数据39】中，刘连春@去哪儿网分享了构建实时垂直搜索网站的经验，该分享主要围绕以下几个核心主题展开： 1. 垂直搜索： - 垂直搜索是一种高度针对特定领域或主题的搜索引擎，它与业务紧密集成，旨在提供更快、更精准的结果。对于高访问量的垂直搜索，构建的关键在于： - 构建高性能集群：通过使用Nginx、AppServer、Memcached、AMQ和Spider等技术实现，可以方便地扩展资源以应对流量高峰。 - 动静分离：将静态内容与动态内容分开处理，提高处理效率。 - 转发策略：采用轮询（Round-Robin）处理静态内容，动态内容则根据用户或搜索条件进行智能转发。 - 缓存系统：包括基本信息缓存（如配置文件和基础数据）和分布式缓存（如Memcached），以提升数据访问速度。 - 消息系统：使用AMQ作为消息队列，确保信息高效传递。 2. 高可用性： - 为了保证服务的稳定性和可靠性，设计上需要消除单点故障，如采用双机冗余、容量和配置分散，并预留备用系统。 - 自动故障转移机制，如Failover和Healthcheck，有助于在主节点故障时迅速切换。 - 控制后端压力，通过合理的路由配置、限制搜索量、自动上下线策略以及协助对方优化来平衡负载。 - 外部接口的使用要考虑其稳定性，设置超时和监控，同时用日志明确边界。 3. 实时搜索： - 实时搜索对缓存更新策略有较高要求，比如设置合理的过期时间，根据业务需求灵活调整，如热门出发城市和日期的数据更新。 - Memcached的使用分享中，强调了反馈式更新机制，针对热门内容的变化情况进行动态调整。 4. 快速响应： - 通过优化缓存数据利用，如快速返回未过期的数据和主动更新缓存，特别是在首页低价这类热点数据上。 - Ajax多次回数的设计要精简数据传输，只返回必要信息，并动态调整刷新时间。 - 利用CDN网络和缓存静态内容，进一步加快页面加载速度。 刘连春分享的构建实时垂直搜索网站经验着重于架构设计、性能优化和故障容错策略，为实现高访问量、高可用性和快速响应提供了实用的实践指南。