产品|产品经理如何做A/B实验( 二 )_

长期对照：设置一部分用户做长期对照，不参加任何实验，可以评估多种实验叠加后的效果。
例如笔者所在部门，有几十个实验专项层，笔者独占3个，专门用于做交易链路相关的A/B实验。
流量设置：给实验组和对照组分别设置一定的流量，这是做实验的必要准备条件。
例如：如果实验分对照组和实验组2个组，选择“层1”取40%的流量，每组20%。如果实验分3个组，对照组和实验组1、实验组2，那么在“层1”取60%的流量，每组20%。
另外，初期每组设置多少百分比的流量，这个要参考当前页面平均每天有多少UV，每组至少保证2000个以上UV，实验相对置信。
2.2.2 空转实验
空转即A/A实验，在成熟的实验平台可自行设置。
例如：设置7-8组实验流量，空转3天，监控PV/UV、转化、留存等核心指标，看有无明显差异。取2组最相近的用来做实验，其余的释放掉。
空转可以明显地发现抽样不均，去掉因为抽样不均带来的实验影响因素，提升实验置信度。
2.2.3 反转实验

反转的前提：A/B实验根据需求功能不同，实验进行的周期不同，短则3-7天，长则1个月。当观察实验结果正向的情况下，可对实验进行反转。
反转操作：将实验组和对照组进行对调，实验组变成对照组，对照组变成实验组，再次观察实验结果。
反转分析：如果反转后的对照组和实验组相比是正向，那么实验成功，可全量。
不可反转的情况：如果A/B实验观察的结论为负向，切记不可进行反转实验，会损伤原对照组的用户体验。

三、如何分析A/B试验举2个例子进行说明：
实验一：对最近7日流失新用户进行push召回，以提升新用户留存。

文章插图
由于目标用户群大多为白领，早上7点在吃饭或者通勤，很少有机会打开APP。而中午到下午有些许的休息时间，推送效果最好。
实验二：对秒杀商品列表页价格样式做优化，以提升秒杀频道转化率。

文章插图
通过优化秒杀商品原价展示样式，突出商品原价的展示，进而强调秒杀频道的商品的价格差，提升用户购买转化率。
四、A/B测试的价值数据驱动创新，数据驱动增长，A/B测试是其中核心的工具和引擎。字节跳动的实验平台，每天新开的实验有1500多个，同时运行的实验有上万个。上到中高层管理人员，下到一线产品和运营人员，大家的普遍共识是：A/B测试是一切决策的前提和基础，用数据说话。
业务创新：通过持续的功能优化打磨，累积创新效果，逐步形成迄今最优的产品形态，同时可将优秀的功能模块抽象沉淀至通用化组件平台。
笔者曾将验证过后最优的产品功能，抽象为可配置通用组件，沉淀在乐高平台（自助搭建h5页面的平台，类似京东的通天塔），供不同业务使用，从而将产品效应发挥到最大。
收益提升：在电商/金融等交易相关产品中，通过优化交易链路可直接带来可观的经济收益。
管理提效：通过A/B实验精准衡量新功能产出，为管理层提供准确的数据依据和科学度量。
五、写在最后A/B测试是一个非常有用的工具，它很强大，但它仅仅是一个工具。产品经理在日常工作中，应该是带着想法、思考，然后再去运用它来帮助验证。张一鸣在2019年字节成立7周年大会上说过一句话：“同理心是地基，想象力是天空，中间是逻辑和工具” ，希望A/B测试这些理论的基石，能够成为大家解锁未来产品之门的一把钥匙。
本文由 @王妍原创发布于人人都是产品经理，未经作者许可，禁止转载。