闲鱼马赫系统：亿级商品库的实时选品解决方案

"闲鱼为了解决海量商品中实时选品的问题，开发了名为‘马赫’的系统，这是一个能够快速、实时地筛选出优质商品的高性能解决方案。马赫系统的特点在于其高效的实时处理能力，能在短时间内处理大量规则，同步商品变更信息几乎达到秒级。该系统借助流计算技术，如阿里巴巴的Blink框架，实现了数据的实时处理和低延迟，以优化用户体验和提高流量利用效率。" 在电商领域，营销活动是驱动用户增长和交易额（GMV）的关键因素。为了确保高效运营，电商需要从亿级别的商品库中实时选出优质商品推荐给潜在买家。为了满足这一需求，闲鱼构建了马赫系统。马赫系统设计的核心目标是速度和实时性，能够快速响应规则变更，并在商品信息更新后1秒钟内更新规则匹配结果，同时在10分钟内完成百万规模的规则打标操作。这样的性能提升了运营效率，保证了用户可以及时看到感兴趣的商品，从而增强用户的购物体验和平台粘性。 马赫系统采用了流计算技术来处理大规模数据，其中使用的是阿里巴巴的Blink框架。流计算是一种以事件驱动、低延迟的数据处理模型，它允许数据实时流动，即时处理并返回结果。Blink作为Flink的增强版，提供了更高级的功能，包括状态管理、强一致性保证以及对事件时间和水印的支持，这些特性对于实现马赫系统的超低延迟至关重要。 在Blink中，State是计算过程中的关键概念，它代表了计算节点的中间结果或元数据。例如，在聚合操作中，State用于存储中间聚合值；在处理Kafka数据源时，它记录已读取的消息offset。State数据的持久化确保了即使在故障情况下也能恢复计算状态，保证了系统的可靠性和数据一致性。 马赫系统利用Blink的这些优势，构建了一个高效的商品选品管道，使得运营人员能够实时响应市场变化，迅速调整商品推荐策略，最大化流量价值。通过这样的实时选品系统，闲鱼能够提供更加个性化的商品推荐，进一步提升用户满意度，推动业务发展。