4.策略设计
当以上业务调研和数据探查阶段都结束,这时候你要开始着手具体规则的设计了。在这个节点,你要在宏观和微观两个方向考虑。
宏观上:
把握整体的节奏,因为项目周期很大程度上是由策略设计的难易决定的。在项目初始,建议摸清问题之后小步迭代,所以规则尽量简
单易行。在这个阶段的几个关键词是:快上线、高准确、低覆盖、小流量、大埋点。
微观上:
当 1.0 版本验证有效后,你就要更多考虑策略的细节,分析特征数据的分布、准确率和覆盖率。设计区分等级的兜底策略。另外你还要
在准确率和覆盖率之间权衡。逐渐增加多的兜底策略可能意味着准确率的降低,但是同时会大大提升策略的覆盖。
另外一点就是当 1.0 版本的规则验证后,是否要开始引入算法模型来精细化你的策略?
下面右图对比一下人工规则和机器模型(规则 or 模型)在不同方面的表现。此处希望你能对机器模
型可以解决的各种问题、以及模型的种类、基本原理有比较清晰的理解。如果你选择的是使用模
型来进替代规则,那么要完成以下几点:
1 特征数据探查:模型可能用到成百上千的特征,作为 PM 你不需要对所有的特征都进行探查,最
好是能对其中你站在业务角度主观认为结果会对其敏感的 topN(N<=10)个特征进行数据的探查。
2 模型设计:此处可能更多是 RD 需要考虑事情。
3 训练集评估、测试集评估:这两部分你不懂担心,RD(研发工程师)会给出准确的评估结果。
4 交叉抽样评估:这里的交叉,我认为是第一点是策略 PM 首先需要抽取一定的测试集,进行效果的评估,第二点是如果有业务方的
话,建议能把抽样的数据以及模型给出的结果,给到业务方评估一下,业务方或许能会根据比较丰富的经验,给出一些问题或者建议。
5.策略效果评估
当你在离线上针对各种测试集进行过评估之后,你就要拿评估的结果和上线的要求做对比,当前的离线效果是否能达到业务方/产品要
求的上线标准。
6.埋点
埋点在涉及策略的产品涉及中,是非常重要的节点。前端、后端、策略三处的埋点都要梳理清楚。策略 PM 要关心埋点表的结构、每
个字段的含义以及所有可能值的枚举,取数方式(sql 是必备技能)。埋点要尽可能的要细,因为一旦事后发现没埋全,重新升级埋点,
就会浪费很多时间,极大的影响策略的迭代速度。
7.开发、测试、验收
这个点就不说了,大家应该都很熟悉
8.数据监控
数据监控包括 2 部分:
1 关键页面访问、转化、核心指标报表:
在上线后第一天,建议数据监控日维度的数据报表就开始发。把关键页面的流量、功能的转化、以及重点观测指标,统统展现在日报
中。PM 和算法的 RD 要和数据的同学准确的核实业务逻辑、数据获取方式和口径。保证报表准确万无一失。
数据不光要监控,建议每周组织数据解读,对比上周的数据变化,Q1 的指标结果、Q2 的指标目标等,时刻提醒项目组成员重视数据、
理解数据。
2 特征数据监控
不管是规则还是模型,其实都会用到一些特征,特征数据是否平稳、正常直接影响模型/策略的输出效果。所以对特征数据的监控也十
分重要。这里建议监控特征数据的分布以及关键特征异常值的检测。因为我们可以直观的认为模型/策略结果是对关键特征敏感的,如
果关键特征的值出现较大异常,对模型/策略的结果影响无疑是最大的。
9.迭代流程建设
1.0 版本策略拿到反馈后,我们就要进行不同策略的实验,以持续迭代,效果优化。需要搭建整个可支持策略/模型实验的体系。
ABtest(流量分发)
什么是 ABtest:为同一个目标,设计两种方案,将两种方案随机投放市场中,让组成成分相同(相似)用户去随机体验两种方案之一,
根据观测结果,判断哪个方案效果更好,结果可以通过 CTR 或者下单率来衡量。
ABtest 是最原始的实验方法,这里主要两点:1.AB 组是否控制了单一变量 2.流量按照什么维度进行分发。
模型/策略自动配置
搭建的系统应支持快速的模型配置,策略配置。这时候系统可能需要建设一个统一的特征库。AB 两个模型配置上之后,功能的同学直
接从一个统一的特征库中获取到所有的特征,然后输出。
//补充:产品策划
分析研究阶段
1,根据公司的战略,定下要做的基本类型。
2,进行市场调研和竞品分析,根据公司的资源,做出产品的定位
这里面细分为几步:
1 进行市场调研,看看是否存在这个趋势,比如现在投资的风口和大众的需求。(你也许会说做这个太热,反而竞争大。其实,重点的
在于趋势,而不是同质)。不要选择那些已经形成壁垒,比如基础社交软件;或者已经过气的项目,比如,论坛 or 人人网;
2 断定大方向的正确,就在这个方向下找到自己的竞争对手。从市场占有,目标人群和功能上,看看是否有用户没有被覆盖在其中,找
到自己独特的功能来做差异化的产品。
3 根据公司的资源,这样做产品成功的几率更大一些。尤其是财大气粗的 BAT 公司,靠自己的丰富资源,后进入市场,干掉先前的产