怎样深度融合AI和HPC?英特尔打造一套通用神器(11)

该方案还可在调度和队列生产环境中使用Univa Grid Engine的组织扩展集群,以支持Apache Spark、TensorFlow等工作负载,同时仿真和建模工作负载使用现有API即可。

四、针对不同需求分而优化

另一方面,英特尔也分别优化针对HPC、AI和数据分析的工具。

1、仿真和建模工具优化

针对仿真和建模应用的关键工具和优化包括MPI库、GCC和英特尔编译器、数学核心函数库(MKL)、Torch。

英特尔MPI库是开源MPICH规范的一种实现,可创建、运行、测试、维护针对基于英特尔架构的集群优化的应用,支持多种网络选择。

GCC和英特尔编译器允许开发者在两者间轻松切换,提供灵活的优化功能,并支持与主流工具链相结合,进一步增强互操作性。

MKL是英特尔针对技术和科学计算打造的一套预优化函数库,方便用户快速调用以加速计算。

英特尔还提供一种叫Torch的开源科学计算框架,包含脚本语言LuaJIT和底层C/CUDA实施方案,英特尔已针对至强处理器对该框架进行优化。

推荐阅读