AI发展进入2.0时代!英特尔在落地中总结4大经验(14)

而目前图像预处理也具有很大的挑战性,因为目前还没有软件框架可支持资源管理、数据处理和容错。

因此,京东需要一个能够以可扩展和可持续的方式,为图像数据库的特征提取流水线提供支持的基础设施。

于是几经辗转后,京东用CPU代替GPU,在基于至强Spark集群上,它可以横向扩展至数百或数千台服务器。

然后通过BigDL——面向Apache Spark的分布式深度学习库,能够加载之前已使用GPU资源训练好的Caffe模型,并在现有CPU图像存储架构上重新部署这个模型。

最终,性能提高了3.83倍。

无独有偶,随着AI进一步与更多行业结合,为AI训练和超算定制高性能存储,也成为越来越多公司的需求和机遇。

AI发展进入2.0时代!英特尔在落地中总结4大经验

图11/14

比如百度智能云,在云服务推进中,打造了一套全闪对象存储方案,导入QLC固态盘+傲腾固态盘组合,专攻AI训练、大数据和高性能计算。

推荐阅读