学习大数据开发,一定不可错过的大数据组件图谱——很齐全( 二 )

Alluxio前身是Tachyon , 是以内存为中心的分布式文件系统 , 拥有高性能和容错能力 , 能够为集群框架(如Spark、MapReduce)提供可靠的内存级速度的文件共享服务 。

PVFS是一个高性能、开源的并行文件系统 , 主要用于并行计算环境中的应用 。 PVFS特别为超大数量的客户端和服务器端所设计 , 它的模块化设计结构可轻松的添加新的硬件和算法支持 。

数据存储

MongoDB是一个基于分布式文件存储的数据库 。 由C++语言编写 。 旨在为web应用提供可扩展的高性能数据存储解决方案 。 介于关系数据库和非关系数据库之间的开源产品 , 是非关系数据库当中功能最丰富、最像关系数据库的产品 。

Redis是一个高性能的key-value存储系统 , 和Memcached类似 , 它支持存储的value类型相对更多 , 包括string(字符串)、list(链表)、set(集合)和zset(有序集合) 。 Redis的出现 , 很大程度补偿了memcached这类key/value存储的不足 , 在部分场合可以对关系数据库起到很好的补充作用 。

推荐阅读