数据的比较分析（二）：不同产品版本之间的差 异 在“A/B测试”和“竞品分析”中，我们如何判断两个版本的产品设计的差别？ 上节《数据的比较分析（一）：我们达到或者超过目标了吗？》我们讲述的是产品改版基 于目标指标，我们距离还有多远，从而制定改进的产品迭代的策略。 而这节讲到不同版本之间的差异，主要用在“A/B测试”和“竞品分析”中，我们需要判 断两个版本的产品设计的差别，如转化率、任务时长、排名；仅仅通过描述性的统计并宣 称一个设计的好坏是远远不够的，这时候我们就会发现统计学的必要性。 一、我们从“组内比较”和“组间比较”说起 这里我们常常会涉及到的是“组内比较”和“组间比较”。 组内比较 一般来说是让通一组人参加两个不同版本的设计，这两个版本可能是竞品，可能是一个公 司不同产品经理或者UI设计师设计出来的作品；这样的试验好处在于可以排除个体差异 对测试结果的混淆。 在这类测试中你需要对用户先接触哪个产品做平衡处理，从而将学习效应的影响降到最低。 如果让用户先体验A产品，无论结果是支持或者否定A产品，都可能存在由于顺序造成的 用户偏差风险，这时候组内设计发挥的作用是，将检测结果的差异归因产品间有差异（而 非个体的差异），且同样的样本可以检测到更小的差异。 组间设计 组间设计比较的是不同的用户使用不同的产品，不同的用户和不同的设计都会带来变化； 所有我们必须检验均值间的差异是否比不同的用户所带来的差异更大。 这里要特别说明一下A/B测试，现在我们常用的AB测试一般来说都是测量的是转化率这 个指标，但是转化率这个指标我觉得是一个综合指标，一个转化目标是受很多因素来影响 的，例如例如转化目标受产品的可用性、LITT模型等等。 而且在测试期间，为了保证不同版本的测试差异最小，需要的是同一时间、同一场景、同 一用户样本，所有这这期间在最短的时间内达到需要的样本容量的话，所受的影响因素会 最小。 所以很多AB测试的产品都需要使用的产品在日活达到1000UV以上，这样就能在最短的时 间内，达到想要的样本容量。 二、在比较分析时受影响的因素 （1）实验的类型：首先要确定这是组内试验还是组间试验？ （2）样本的大小：其次相对而言是大样本还是小样本？ （3）数量的类型：最后看数据的类型，是连续性数据还是离散型二分式数据？ 三、连续型数据的对比 1. 组内比较——配对 t 检验 关于t值得计算方法： 我们得到检验统计量（t）值之后，为了确实是否差异显著，需要在t表（t-table）中查 p值（p-value）,也可以使用Excel公式=TDIST（）来计算或者核算值。该计算方法无论 大小样本都适用。 关于差异的置信区间的计算方法： 配对t检验中的p值只用来告诉我们差异是否显著，但是我们做比较的时候我们还想知道 差异究竟有多大既常说的“效应量”；随着样本容量增大（至少100以上），检测结果很 容易出现统计显著差异，而实际的效应量却不显著。 差异的置信区间有助于区分细微的（即便是统计显著性的）差异和值得引起使用者注册的 差异。 计算差异分数的置信区间如下： 2. 组间比较——双样本 t 检验 组间比较的时候，不同用户使用不同的产品；不同用户和不同设计都会带来变化。必须建 议均值间的差异是否比不同用户所带来的差异更大。 关于t值得计算方法： 这属于双样本t检验，得出的t值需要使用Excel公式=TDIST（t，自由度，样本组数 量），通过这个公式来得到p-value值，最后确定两个样本直接是否存在统计的显著性。 关于差异的置信区间的计算方法： 在计算特定水平置信度和自由度下的临界值时的计算方法是： 其中s表示的是分别两个样本的标准差，n表示的是两个样本的样本量;如果手头没有计算 工具，且方差又是同质性的时候，你可以通过样本1的数量+样本2的数量-2;如果方差的 差异较大（比如两个标准差比例大于2）时，可以采用保守快捷的方法，用较小的样本量 减去2。 四、离散型二分式数据的对比 一个二分式离散型变量只有两个值，诸如是/否、已完成/为完成、已转换/未转化 1. 组内比较 连续性的组内检验是(配对t检验)，消除用户之间的差异，所以相比同等样本量的组间设 计，组内设计有更高的概率检测到差异。 为了判断两组不同的完成率、转化率或者任何二分变量之间是否存在显著差异，对所有大 小的样本我们使用的是McNemar精准检验，通过计算p值来检验异序对样本比例是否大于 0.5(也称为符号检验)。 McNemar精准检验：