机器学习在领英的规模化应用( 三 )

但领英发现 , 过去每个团队用自己的AI技术堆栈开发各自的产品 。 , 这种做法无法有效实现规模化 , 因为每个团队使用的技术不同 , 从逻辑回归到深度学习 , 从Pig 、 Hive、Spark到Scalding等等 , 团队之间的AI技术堆栈很难共享协作 。 所以领英希望在招入新的工程师或是开发新功能、使用新技术时 , 尽可能减少大家的负担 。 此外 , 近年来很多人工智能领域的从业者其实并不是人工智能专业出身 , 领英的AI基础架构对他们来说过于复杂 , 难以用来构建、迭代模型 。

为了高效地促进机器学习规模化 , 领英构建了名为“Productive Machine Learning”(高效机器学习)的项目 , 简称Pro-ML 。 Pro-ML的目标是将AI工程师的工作效率翻一番 , 让他们能更轻松、更高效地构建模型 。 在过去十年里领英发现 , 模型性能与模型更新速度直接相关 。 因此 , 如果能让工程师加快模型迭代速度 , 那么模型性能也会提高 。

具体来说Pro-ML采用分层解决方案 , 目标是提高整个模型开发周期的效率 , 从模型探索和构建(Exploring and Authoring) , 到模型训练(Training)、模型部署(Deploying)、模型运行(Running) , 再到持续监控模型状态 。 领英希望把所有常规工作自动化 , 这样算法工程师就能更加聚焦于创新 。

推荐阅读