山峰|被高估的A/B测试_苹果|lancer|苹果AppStore|异常|应

编辑导语：近年来，“增长黑客”的概念盛行，A/B测试作为“数据驱动增长的最佳实践，成为了底层指导逻辑，受到了企业们的青睐。但它也有自己的局限性，A/B测试能够解决的问题有限。本文论述A/B测试的局限性以及应当如何正确看待它。

文章插图
这不是一篇科普A/B测试的文章，这是一篇想要论证A/B测试局限性的文章。
近几年“增长黑客”概念盛行，A/B测试作为“数据驱动增长”的最佳实践，复刻了用实验数据检验假设的科学研究方法，将“适者生存”的进化理论作为底层的指导逻辑，受到了广大企业青睐。截至2021年3月底，字节跳动累计已经做了70多万次A/B测试。
“产品是演化出来的，而非规划出来的。”
这是张小龙《微信背后的产品观》里的一段话。在这种产品观念中，人类通过收集数据反馈，选择好的产品方案，与自然选择适应度高的生物如出一辙。
如果我们相信进化论是确证的真理，那么对于领域迁移下的“增长方法论”，似乎也不必抱有怀疑。作为进化论的拥趸者，我也一度将A/B测试看作无所不能的杀器，相信可以通过演化的力量获得永恒的增长。
遗憾的是，进化论不只有自然选择，而A/B测试却只有自然选择。由于对进化论过度简化，A/B测试也就滋生了局限性。
一、自然选择是一种贪婪算法贪婪算法，是指在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，算法得到的是在某种意义上的局部最优解。无论是自然选择，还是AB测试中的选择，本质而言都是一种贪婪算法。
不妨想象生物的进化是在攀爬一座高峰，而自然选择是牵引着生物向上攀爬的动力。自然选择将生物的适应性作为唯一评判标准，对任何基因突变造成的适应性下降的生物，都会毫不留情的消灭。长此以往，整个生物总群终将会抵达这座山峰的顶端。
一切似乎都没有问题。严苛的自然选择总能驱动生物适应性的提升，登顶进化的山峰。人类迷恋这种确定性的增长，想要借自然法则的增长智慧和力量，于是开始崇拜A/B测试。
在“爬山”这个隐喻中，使用贪婪算法确实可以抵达山顶，可是谁说整个进化的景观中，就只有一座山峰呢？
二、进化的另一面让我们想象一片群山连绵的山脉，在这样的景观中，自然选择会牵引着生物朝着最近的山峰开始攀爬，可是当生物成功登顶这座山峰后呢？
这时候，自然选择的严苛就成为了短视的表现——因为自然选择不允许任何的适应度下降，于是从生物开始攀爬一座山峰时，就注定被困在了这座山上。
如果这座山正好是整个景观中的最高峰，比如珠穆朗玛峰，那么生物也理所当然会在自然选择的牵引下登顶，达到进化的顶端。可惜并非所有的生物都那么幸运，它们更多是被困在虫鱼鸟兽的山上，只能在已有的基础上不断调优，却永远无法打破底层结构。即使是人类，也无法保证自己在攀爬的是进化景观中的最高峰，我们同样是受困者。
如果佛系一点，不去奢求攀爬整个景观中的最高峰，而只是攀爬脚下这座山时，自然选择同样有可能带来困境——因为上山的路不总是平坦的，它更有可能是坑坑洼洼的，而自然选择不允许向下，贪婪算法无法帮助我们通过一条坑坑洼洼，需要反复颠簸上下的路径。
自然选择的贪婪短视，推及到AB测试，我们有理由认为每一次的择优只是在逼近局部的最优解，却不能带来全局的最优解。当然，自然选择只是进化论的一部分，在整个进化体系中，还有“遗传漂变”，这在一定程度上可以制衡自然选择的力量。然而将进化理论迁移到产品设计领域时，我们却只看见了“物竞天择，适者生存。”