阿里巴巴飞天大数据架构体系与Hadoop生态系统( 二 )_：阿里巴巴飞天大数据架构体系与Hadoop

MapReduce是一个分布式离线并行计算框架，能够对大数据集进行并行处理。MapReduce就是将一个超大规模计算量的任务或者说数据量分割成无数小的计算任务与计算文件，然后再将计算结果进行合并的过程。MapReduce主要分为Map和Reduce两个阶段。Map是计算阶段，计算足够小的计算任务。Reduce是汇总阶段，将map阶段的计算结果汇总合并起来。

Hadoop的初始版本或者说核心就是这两大板块：HDFS为海量数据提供了存储，而MapReduce为海量数据提供了计算框架。

Hadoop的历史

1998年9月4日，Google公司在美国硅谷成立。

与此同时，一位名叫Doug?Cutting的美国工程师，也迷上了搜索引擎。他做了一个用于文本搜索的函数库，命名为Lucene。Lucene是用JAVA写成的，因为好用而且开源，非常受程序员们的欢迎。

2001年底，Lucene成为Apache软件基金会jakarta项目的一个子项目。

2004年，Doug Cutting在Lucene的基础上和Apache开源伙伴Mike Cafarella合作开发了一款开源搜索引擎，命名为Nutch。Nutch是一个建立在Lucene核心之上的网页搜索应用程序，类似于Google。