低频少样本长验证周期：算法在金融风控与电商中的挑战与实践

"4-1+低频少样本长验证周期场景下的算法设计.pdf" 这篇文档探讨了在低频、少样本、长验证周期的特殊场景下如何进行算法设计，以适应不同业务需求。作者张惟师在2019年6月提出了这一主题，主要涉及业务背景、特征工程、样本选择、实际效果、模型调优和可解释性分析等关键环节。 首先，文档介绍了算法在友好场景与非友好场景的应用。在高频、多样本、短验证周期的场景，如新闻信息流、广告推荐、快消类商品和搜索排序，算法能够快速迭代并取得显著效果。而在低频、少样本、长验证周期的场景，例如金融风控、招聘推荐、二手车电商和房产电商，由于用户交互少、样本量有限以及验证周期长，算法设计面临更大挑战。 接着，文档以居理新房的线索质量算法场景为例，详细阐述了业务背景。在这个案例中，用户购房行为极为低频，样本量非常有限，且购房周期长。因此，算法的目标是根据用户在C端的行为对购房线索进行评分和分类。为了实现这一目标，需要收集各种数据，包括投放数据、反作弊数据、APP端用户行为数据以及线下交互和转换数据。 在特征工程部分，文档提到特征可以分为信息来源类、用户APP行为类和用户黏性类。信息来源类特征涉及渠道、线索来源和刷量识别；用户APP行为类特征关注用户的点击行为、转换行为和留存行为；用户黏性类特征则包括活跃频次、活跃时长等。特征处理涉及数值处理（如离散化和比率特征计算）以及特征组合（如主成分分析PCA）。 样本选择是解决低频少样本问题的关键。在本案例中，由于直接的认购率极低，采用带看作为代理目标，并通过调整正负样本比例（如欠采样和过采样）来增加样本量。然而，过采样可能会导致模型概率值失真，需要谨慎使用并进行概率校准。 模型训练过程中，采用了多种模型，如Spark-mlib中的统计模型和树模型、线性模型，以及TensorFlow/Pytorch支持的深度学习模型，如Word2Vec、RNN和CNN。此外，还利用图学习方法如Node2Vec进行特征提取。 最后，模型评估、线上服务、AB测试、可视化工具、监控平台、配置平台和任务调度平台共同构建了数据反馈闭环，确保模型的持续优化和性能监控。 该文档提供了针对低频少样本长验证周期场景的算法设计策略，强调了特征选择、样本处理和模型选择的重要性，为类似业务场景的算法设计提供了宝贵指导。