利用Python进行AB测试：度量选择与评估分析

资源摘要信息:"Python对页面功能进行AB测试" AB测试是一种用于确定两个版本中哪一个更有效的方法，通常用于测试网站或应用程序的用户界面设计、功能、或内容。在这份资源中，使用Python进行AB测试的过程被详细阐述，包括度量选择、标准偏差测量、试验规模的评估以及持续时间与风险暴露的考虑。 ### 度量选择 #### 不变度量 不变度量是指在AB测试中，预期在控制组和实验组之间不会发生变化的度量指标。它们用于确保实验的公平性，确保两个组在实验开始之前是可比的。 - **Cookie的数量**：由于是衡量访问课程概述页面的唯一cookie的数量，这是一个反映访问量的度量。它被用作不变度量，因为测试期望两个组的访问量是一致的。 - **点击次数**：指的是点击“开始免费试学”按钮的唯一cookie的数量。这同样是实验发生的前提，所以需要保持两个组的一致性。 - **点击概率**：点击“开始免费试学”按钮的唯一cookie的数量除以查看课程概述页的唯一cookie的数量得到的比率，是反映用户参与度的指标，也被视为不变度量。 #### 评估度量 评估度量是指在AB测试中用来衡量实验效果的度量指标，它反映了实验中不同变量的影响。 - **总转化率**：完成登录并参加免费试学的用户ID的数量除以点击“开始免费试学”按钮的唯一cookie的数量得到的比率。这是评估免费试学筛选器对用户转化影响的指标。 - **留存率**：在14天的期限过后仍参加课程的用户ID数量除以完成登录的用户ID数量。该指标用于了解免费试学筛选器是否影响了长期参与度。 - **净转化率**：14天后仍在参与课程的用户ID数量除以点击了“开始免费试学”按钮的唯一cookie的数量。这个度量有助于了解免费试学筛选器是否有助于增加用户从点击到实际付费的转化率。 ### 测量标准偏差 在统计学中，标准偏差衡量了数据集中的数值离散程度，高标准偏差表示数据分布广泛，而低标准偏差则表示数据紧密聚集。 - **总转化率标准差**：0.0202 - **留存率标准差**：0.0549 - **净转化率标准差**：0.0156 在评估度量中，总转化率和净转化率分析估计与经验变异相似，因为它们都是基于相同分析单位（cookie）。留存率分析估计与经验变异不同，因为它基于的是完成登录的用户ID，这是不同的分析单位。 ### 规模 #### 样本数量和支持 在确定实验所需的样本量时，考虑到了各个度量的转化概率和最小可识别差异（d 最小）。通过统计公式计算，得出了每个度量所需的样本量，并根据实际每日访问量计算出整个实验需要的页面访问量。 - **总转化率**需要645875网页访问数。 - **留存率**需要的网页访问数过大，故不被作为评估度量。 - **净转化率**需要685325网页访问数，由于留存率不被考虑，故以净转化率的样本量为准。 实验将把70%的流量转入试验中，计划需要25天时间来完成实验。 #### 持续时间和风险暴露 测试选择70%的流量，因为这被认为是在不影响整个网站性能前提下可以承担的最大风险。虽然这样会加大试验的影响，但也是为了能够收集到足够的数据以作出有统计学意义的决策。 ### 结论 通过这份资源，我们了解到在使用Python进行页面功能的AB测试时，需要详细规划哪些度量作为不变度量和评估度量，并据此计算所需的样本量和试验时长。实验的设计要考虑到统计学方法，如标准偏差的测量，以及如何设置实验的规模和持续时间，以确保可以收集到有效数据来得出准确结论。同时，还要考虑到实施AB测试可能对现有用户流量和网站运营带来的风险。