学习大数据开发,一定不可错过的大数据组件图谱——很齐全(15)

SpagoBISpago被市场分析师们称为“开源领袖” , 它提供商业智能、中间件和质量保证软件 , 另外还提供相应的Java EE应用程序开发框架 。

调度与管理服务

Azkaban是一款基于Java编写的任务调度系统任务调度 , 来自LinkedIn公司 , 用于管理他们的Hadoop批处理工作流 。 Azkaban根据工作的依赖性进行排序 , 提供友好的Web用户界面来维护和跟踪用户的工作流程 。

YARN是一种新的Hadoop资源管理器 , 它是一个通用资源管理系统 , 可为上层应用提供统一的资源管理和调度 , 解决了旧MapReduce框架的性能瓶颈 。 它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程 。

Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件 , 支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构 。 对数据中心而言它就像一个单一的资源池 , 从物理或虚拟机器中抽离了CPU , 内存 , 存储以及其它计算资源 , 很容易建立和有效运行具备容错性和弹性的分布式系统 。

推荐阅读