科学区分设计对错——数据思维教你5步验证( 七 )

科学区分设计对错——数据思维教你5步验证

图7 方案改造前后对比

科学区分设计对错——数据思维教你5步验证

图8 试算、完成、账单记录全面优化

四、上线测试

在此次方案上线的过程中,我们将新旧版本作为A/B test同时在线上进行灰度测试,用以对比单一变量“分期期数和手续费”不同展示情况下,对用户分期笔数的影响。

除了制定灰度策略,还需要控制A/B方案用户包,限定测试时间,以保证在单位时间内,A/B方案的用户质量、用户浏览量基本一致,这样的数据才具有对比性。还要避免在后期拉取数据的时候出错,或者数据差距太大失去可比性。

本次前端小伙伴先上线了针对两家银行的白名单,然后制定了10%的灰度策略,全程监测无问题后逐步放量灰度直至各50%,灰度一周后进行了数据收集对比。

推荐阅读