淘宝千万级Http长连接技术架构与优化策略

本文主要探讨了如何打造一个能够支持上千万HTTP长连接的应用，以淘宝的Http长连接技术为例。该技术涉及到Comet长连接池管理、Comet Streaming以及Websocket等技术。在Web旺旺的实现中，作者首先介绍了几种常见的解决方案，如每个页面一个连接、Flash方案（如FlashDB和LocalConnection）以及轮询cookie等，这些方法在处理多页面交互时有各自的优缺点。 在面对高并发和硬件负载的问题上，作者提到了使用Jetty集群作为基础架构，通过Haproxy进行软件负载均衡，利用LVS或Haproxy的七层负载均衡策略，如Round Robin（轮询）、Least Connection（最少连接数）和一致性哈希等，来确保请求的高效分发。Haproxy还支持Session Stickiness，可以结合虚拟主机和URL参数哈希策略，提高会话的持久性和可扩展性。 然而，当连接数量达到数万甚至数十万级别时，如4万以上的Jetty连接和每秒40000次的QPS，带来了明显的性能瓶颈。这主要是由于内存使用量剧增，特别是Old区（老年代）内存，因为频繁的连接断开和重新建立导致大量对象被创建并最终进入Old区，引发Full GC（垃圾回收），造成应用暂停时间过长。 针对这个问题，作者提出了优化策略，包括采用并发式的CMS（Concurrent Mark-Sweep）垃圾收集器，通过扩大年轻代（Eden、S0和S1区）的大小来避免Old区过大，减少Full GC对应用性能的影响。然而，即便如此，调整垃圾回收设置仍不能完全消除长时间的暂停，因此在设计时需要充分考虑系统的内存管理策略和负载均衡。 总结来说，打造支持上千万HTTP长连接的应用是一项挑战性的任务，需要综合运用多种技术和策略，包括高效连接管理、负载均衡、内存优化以及垃圾回收算法的调整。这不仅考验了开发团队的技术实力，也对系统的稳定性和性能有着极高的要求。