知乎搜索：Query理解与语义召回技术详解

本资源是一篇关于Query理解和语义召回在知乎搜索中的应用的论文，作者拥有电子科技大学硕士学历，并在2018年加入知乎搜索团队。论文详细概述了知乎搜索技术的发展历程，从2016年的ElasticSearch引入，到后续的TermWeight、Rust引擎、深度语义相关性等关键技术的迭代。 1. **知乎搜索发展历程**： - 2016年引入Elasticsearch作为基础搜索平台。 - 2018年4月，开始采用TermWeight算法，优化关键词权重计算。 - 2018年6月，Rust引擎上线，提高了搜索效率。 - 2018年8月，引入深度语义相关性，关注查询意图与文档内容的精确匹配。 - 2019年，逐步实现Query纠错、BERT技术的应用、以及语义向量索引等高级功能。 2. **核心技术模块**： - Query改写：通过识别并修正用户的输入错误，如将"iPhon手机价格多少"纠正为"iPhone手机价格多少"。 - 同义词挖掘：增强搜索结果的多样性，考虑查询中的同义词。 - 语义召回：利用上下文信息和词权重计算，提高搜索结果的相关性，减少语义鸿沟。 - 排序方法：包括深度学习方法如DNNLTR、UnbiasedLTR、MultiTaskLTR和ContextualLTR，对搜索结果进行精细排序。 3. **搜索策略**： - 头腰尾部搜索比例：分析用户搜索行为，优化搜索结果呈现。 - 有点击的搜索比例：衡量搜索效果，关注用户实际点击的行为数据。 - 搜索召回：处理各种类型的查询，包括输入错误、表达冗余、特定主题的查询等。 4. **技术细节**： - 分词和词权重：基于IDF词典确定关键词的重要程度。 - 查询理解：通过倒排索引和QueryEmbedding技术理解用户意图。 - 向量索引和召回：利用向量表示来提升召回率。 - 传统召回与合并：结合多种召回策略，提供更全面的结果。 5. **数据驱动的方法**： - 弱监督：利用点击日志作为训练数据，提高模型性能。 - 标注数据：可能用于模型训练和评估，确保结果准确。 这篇论文深入探讨了知乎搜索如何通过Query理解和语义召回技术，不断优化搜索体验，以满足用户多样化和复杂化的查询需求，同时利用大数据和机器学习方法来提高搜索结果的质量和相关性。