A/B 测试中 12 个常见的误区(下)( 三 )

如果你决定使用重叠流量运行 A / B 测试,请记住流量应始终均匀分配。如果测试产品页面 A 与 B,和结帐页面 C 与 D,请确保来自 B 的流量在 C 和 D 之间的分配是对半的,而不是 2:3 或其他。

忽略细微的成果

你的新版本比对照组高出了 4%,但总有人会说“这个比例太小了!我甚至都不愿意实施它。”

但问题是,如果你的网站做的非常好,那么你将无法获得那样大规模的转化提升,而事实上,大规模的转化提升也非常罕见。除非你的网站很垃圾,测试之后很容易获得 50% 以上的转化提升,但即使这样,这种场景也不会持续不断地出现。

大多数测试带来的都是小幅增长,比如 1%、5%、8%等。有时,1% 的提升可能意味着数百万的收入,但重点是:你需要从 12 个月的时间跨度来看待它。

一项测试就只是一项测试,你必须要做很多很多测试。比如你每月将转化率提高 5%,那么 12 个月内的转化率将提高 80%,这是复利,是数学的工作原理。而 80% 将是一个极其壮观的数字。

推荐阅读