京东京东11.11：商品搜索系统架构设计：商品搜索系统架构设计
一、 京东商品搜索简介
京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有
短短几年的时间，我们的搜索引擎已经经过了多次618店庆和双11的考验，目前已经能够与人们日常使用的如谷歌、百度等全
文搜索引擎相比，我们的产品与其有相通之处，比如涵盖亿级别商品的海量数据、支持短时超高并发查询、又有自己的业务特
点：
海量的数据，亿级别的商品量；
高并发查询，日PV过亿；
请求需要快速响应。
搜索已经成为我们日常不可或缺的应用，很难想象没有了Google、百度等搜索引擎，互联网会变成什么样。京东站内商品搜
索对京东，就如同搜索引擎对互联网的关系。他们的共同之处：1. 海量的数据，亿级别的商品量；2. 高并发查询，日PV过
亿；3. 请求需要快速响应。这些共同点使商品搜索使用了与大搜索类似的技术架构，将系统分为：1. 离线信息处理系统；2.
索引系统；3. 搜索服务系；4.反馈和排序系统。
同时，商品搜索具有商业属性，与大搜索有一些不同之处：
1. 商品数据已经结构化，但散布在商品、库存、价格、促销、仓储等多个系统；
2. 召回率要求高，保证每一个正常的商品均能够被搜索到；
3. 为保证用户体验，商品信息变更（比如价格、库存的变化）实时性要求高，导致更新量大，每天的更新量为千万级别；
4. 较强的个性化需求，由于是一个相对垂直的搜索领域，需要满足用户的个性化搜索意图，比如用户搜索“小说”有的用户希望
找言情小说有的人需要找武侠小说有的人希望找到励志小说。
另外不同的人消费能力、性别、对配送时间的忍耐程度、对促销的偏好程度以及对属性比如“风格”、“材质”等偏好不同。以上
这些需要有比较完善的用户画像系统来提供支持。
一、总体架构图
搜索服务集群：由很多个merger节点组成的集群。接收到查询query后，将请求通过qp触发有策略地下发到在线检索服务集群
和其他服务集群，并对各个服务的返回结果进行合并排序，然后调用detail server包装结果，最终返回给用户。
query processor server：搜索query意图识别服务。
在线检索服务集群：由很多个searcher节点组成，每个searcher列对应一个小分片索引（包含全量数据和实时增量数据）。
评论0