产品|产品经理如何做A/B实验_

编辑导读：A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的最佳实践和方法论。本文作者从自身工作经验出发，讲述如何更专业地做A/B测试，如何拿到更加置信的数据结论，希望对你有帮助。

文章插图
A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的最佳实践和方法论。笔者在某头条做C端产品时，做了大量的A/B实验，快捷测试验证新功能。其中在2020年8月份，1个月做了12个A/B实验，带来明显的OKR指标提升，当月获得绩效最高档（盖章可查询）。给大家整理了一些A/B实验方法论，分享给需要的同学。
本文讲述如何更专业的做A/B测试，如何拿到更加置信的数据结论。后续会陆续给大家分享如何思考设计新的功能，确保A/B实验的正向率，避免成为A/B实验的终结者（结论总是负向）。
一、什么情况下需要做A/B实验？大多数A/B实验建立在：当不确定哪种方案更有利于达成核心目标，不确定新的方案会不会对核心指标之外的其他指标造成负向影响，我们通过做A/B实验来进行测试。
关于A/B实验的功能场景，我们看个简单的例子：

文章插图
场景还原：优化前的商品详情页展示商品价格以及该商品可以用的优惠券，如何提升商品的交易转化率呢，产品经理想：帮用户把券后价直接展示出来是否能提升转化率，能提升多少。
由于商品详情页是电商交易链路的核心页面，直接全量上某个功能，万一效果不好则影响巨大。通过切一部分流量进行A/B测试，密切观察实验数据、灰度发布是最佳策略。
大家熟知的今日头条、抖音、西瓜这些产品的名字，都不是产品经理或者业务负责人拍脑袋经验主义决策的结果，而是把不同名称的应用包上架到应用市场，看哪个名字的下载率和分享率最高，就用哪个。本质上通过A/B测试的思想，把产品决策权交给了用户。
二、怎样设计A/B试验？A/B实验的整体流程：

文章插图
2.1 确定实验目标确定实验目标即以什么指标衡量实验组的好坏。
提升页面转化率：例如电商行业中，提升列表页到商详页的转化率，商详页到订单确认页的转化率，订单确认页到交易成功页的转化率。在家装行业中，最常见的是提升留资页面内“预约装修”提交按钮的点击转化率。提升用户留存：提升用户在平台内的次日、3日、7日等留存率
在观察实验组数据指标时，以一个核心指标为主，同时需要观注其他相关指标，全面衡量，得出结论。
举个栗子：笔者在爱奇艺任职期间，为了提升核心指标“人均VV（人均播放次数）”，产品做了“自动播放”功能。短期内核心指标显著提升，但由于自动播放功能造成用户反感，用户留存指标受到了影响。为避免长期造成用户流失，该功能下线。
2.2 设计实验2.2.1 设置实验组和对照组