数据架构选型必读:8月数据库产品技术解析(22)

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/release-notes-7.3.0.html

Greenplum结合Madlib提升深度学习能力

随着Greenplum 6.0的正式发布,Greenplum不仅在性能上有了大幅提升,Madlib组件也更新了大量深度学习模块。用户可以直接使用诸如Karas、Tensorflow等深度学习框架,并与传统的BI、数仓业务无缝集成,从而真正实现一站式AI解决方案。

下图为Greenplum+GPU的架构图。Keras和TensorFlow等标准深度学习算法库部署在Greenplum的segment节点上,GPU同时也部署在segment节点上,每个节点上的segment共享GPU计算资源。

数据架构选型必读:8月数据库产品技术解析

图1:用于深度学习的Greenplum架构

这种架构设计的目的是为了消除segment和GPU之间互连的传输延迟。在这种架构下,每个segment只需要处理本地数据得出结果,与Greenplum 集成在一起的开源机器学习库Apache MADlib负责将每个segment的模型合并在一起得到最终的模型。这种计算方式,利用了MPP的水平横向扩展功能。

推荐阅读