怎样深度融合AI和HPC?英特尔打造一套通用神器( 十 )

英特尔通过存储抽象化减少数据移动。采用Alluxio为各类持久存储上的数据创建单点访问,实现快速访问现有数据。

3、改造现有环境,增强灵活性

为适应不同现有HPC环境,英特尔同时开发多个解决方案。

怎样深度融合AI和HPC?英特尔打造一套通用神器

扩展HPC批量调度程序

一种方案是面向HPC批量调度程序的Magpie。

Magpie开源项目旨在支持HPC环境中运行TensorFlow,英特尔为其开发了一个架构,并制定了最佳实践来确保各类型工作负载的出色性能和稳定性,该方案允许Apache Spark在独立模式下作为HPC作业运行。

怎样深度融合AI和HPC?英特尔打造一套通用神器

Univa Universal Resource Broker和Grid Engine

另一种方案是是使用开源的Univa Universal Resource Broker,对数据中心资源抽象化处理,创建一个跨裸机服务器、混合云和容器运行的单一虚拟池。

推荐阅读