链路|互联网产品从单目标优化到多目标优化的产品迭代路径和业界探索进展_

编辑导语：作为一名产品经理，互联网产品是否能够迭代成功，是需要一定的量化指标来衡量的。作者分享了从单目标优化到多目标优化的方法，看看是如何用它来衡量产品迭代的。

文章插图
大数据时代，互联网产品迭代是否成功，产品经理往往采用一定的量化指标来验证，比如产品的点击率、转化率、活跃度、GMV等，上述指标也有宽口径和窄口径之分，宽窄区别在于数据统计的周期、数据归因的不同。
比如搜索引导GMV的宽口径是指在统计周期内，用户下单的商品被用户在搜索结果页点击过就算，而窄口径是指当天用户下单，而且下单的前置页面是搜索结果页，并且在搜索结果页点击了该商品，可见窄口径比宽口径要严格得多。
一、单目标优化及多目标优化作为互联网这类大数据产品，比如电商、本地生活、互联网医疗等，在很长时期内对于产品是否成功，达到上线标准，主要采用单目标的AB实验是否显著（p值
但是单目标优化有自身固有缺陷，由于单目标往往不是针对最终目标的优化，只是最终目标的链路漏斗的某个前序环节的优化，导致局部的提升有可能牺牲后续漏斗环节的表现，最终整条链路总体效果并不是最佳。
这样的表述可能比较难以理解，我们以实际例子给大家更加直观的印象。电商业务中如果单纯优化GMV，CTR往往牺牲较大（此优化目标导致系统倾向于让用户购买单价高的商品），从长远来看会使平台的活跃用户减少。
但是如果单纯优化CTR，GMV不一定同步会得到提升，甚至同比是下降的（此优化目标系统倾向于让用户看决策成本低的低单价商品）。
现在工业界几乎都在做多目标优化，如果不做多目标优化，那产品就会在一个极端下越走越远，最终用户体验很差。所以在常见的搜索推荐场景中，大厂就进化到同时优化多个业务目标。
多目标优化问题在工程应用中非常普遍且处于非常重要的地位，自20世纪60年代以来，就吸引了越来越多的不同背景研究人员的注意力。
而多目标优化目标又是比较困难的事情，一般情况下，多目标优化问题的各个子目标之间可能是矛盾的，一个子目标的改善可能会引起另外一个或者几个子目标的性能降低，也就是同时使得多个子目标一起达到最优是不可能的。
而只能在它们中间进行协调和折中处理，使各个子目标尽可能达成到最优解，在保障主要目标提升的同时，次要目标不要受损太多。对于多目标优化问题，当前研究和工业界应用主要集中在：

模型结构，比如MMoE、ESMM；
各目标间的权重分配，比如帕累托积累，具体的算法机制就不赘述了，大家只要知道工业界用大量的探索并且取得一定的研究进展即可。

在互联网领域，最近的业界成果是阿里和Google提出的多目标优化算法，Google是youtube上视频推荐，同时优化视频的点击率和好评率（MMoE），阿里是电商上采用帕累托优化，同时提升电商GMV和CTR(https://blog.csdn.net/weixin_39778400/article/details/111161071)，找到帕累托有效解，阿里在真实的电商推荐系统上进行了大量的实验，并将结果与单目标最佳方法进行了比较。
在线和离线实验结果都表明：

文章插图
PE-LTR（CTR和GMV同时优化的方法）在四个度量上优于其他基线。这与离线实验的结果基本吻合。请注意，PE-LTR 在较高的 CTR 下实现了 GMV 的显著提升。
这说明帕累托有效推荐的优势，完整的算法推到在：https://haiping.vip/2020/05/04/%E5%B8%95%E7%B4%AF%E6%89%98%E6%9C%80%E4%BC%98/