学习大数据开发，一定不可错过的大数据组件图谱——很齐全( 六 )_HDFSHadoopDistributedFileSystem

数据搜集

Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。

ScribeScribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS ，分布式文件系统等）上，以便于进行集中统计分析处理。

Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于收集数据。同时， Flume支持对数据进行简单处理，并写入各种数据接受方（可定制）。

消息系统

RabbitMQ是一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。 RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。

ActiveMQ是Apache出品，号称“最流行的，最强大”的开源消息集成模式服务器。 ActiveMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现。

学习大数据开发，一定不可错过的大数据组件图谱——很齐全( 六 )