A/B 测试中 12 个常见的误区（下）( 二 )_：A

虚报的显著性

要知道，统计显著性并不是唯一要注意的结果。我们还需要了解那些错误的测试结果。不耐烦的测试人员希望跳过 A / B 测试并继续进行 A / B / C / D / E / F / G / H 测试。而这，就是一种误区。

不可否认的是，测试的版本越多，误报的可能性就越高。有时候，即使在 95％的置信水平下，误报的几率仍能达到 88％。

利用重复的流量

你已经找到了一种通过同时运行多个测试来“偷工减料”的方法：一个测试在产品页面上，一个测试在购物车页面上，一个测试在主页上（同时测量相同的目标）。它很节省时间，对吗？

但如果你在测试的时候不小心，就很可能会扭曲结果。除非你怀疑测试之间存在强烈的交互，且测试之间的流量有很大的重叠。

如果测试之间存在交互和流量重叠，事情会变得棘手。

如果你想同时在同一个流程中测试多个布局的新版本，例如结帐的三个步骤，你最好还是使用多页面实验或多变量测试来正确测量交互和属性结果。

A/B 测试中 12 个常见的误区（下）( 二 )