山峰|被高估的A/B测试( 二 )_苹果|lancer|苹果AppStore|异常|应

三、回归于人回到开头：近几年“增长黑客”的概念盛行，A/B测试复刻了用实验数据检验假设的科学研究方法，将“适者生存”的进化理论作为底层的指导逻辑，但是它没有使用一个好的算法，也就没办法成为产品增长的最佳实践。
那什么才是好的算法呢？如果唯数据论和唯A/B测试论无法将我们带到理想的位置，那么就需要回归人的作用。
曾任今日头条CEO的陈林在微头条发过这样一段话：

很多时候，AB测试帮助我们理解用户，而不是帮助我们决策。
产品改进只盯着数据，不如不看数据。

字节跳动在给短视频平台起名时内部进行了A/B测试，“抖音”这个选项实际位列第二名，但产品经理从经验角度认为“抖音”长期来讲更符合认知，更能体现这个产品的形态，因此最终选择了“抖音”这个名字。
四、受制于人回归于人，也就必然会受制于人。
世界上没有两片完全相同的树叶。个体的多样性，决定了不同的人拥有的能力和阅历也不会一样。即便是同一个体，在不同的环境下也可能会产生截然不同的想法和决定。
如果A/B测试回归于人，就需要重新拥抱不确定性。而我们对A/B测试的崇拜，有很大一部分原因就是它能够带来确定性的增长。作为AB测试狂热大厂的字节跳动，在无数次摸索中或许早已参透了A/B测试的局限性，进而更加理性的将其作为工具来看待，而不是神。
本文由 @一寸原创发布于人人都是产品经理，未经许可，禁止转载
【山峰|被高估的A/B测试】题图来自Unsplash，基于CC0协议