阿里新一代分布式任务调度平台Schedulerx2.0破土而出( 四 )

  • 并行计算:map/mapreduce模型 , 1~300个子任务 , 有子任务列表 。

  • 内存网格:map/mapreduce模型 , 10W以下子任务 , 无子任务列表 , 基于内存计算 , 比网格计算快 。

  • 网格计算:map/mapreduce模型 , 100W以下子任务 , 无子任务列表 , 基于文件H2计算 。

  • 3.4.2 分布式编程模型

    • Map模型:类似于hadoop mapreduce里的map 。 只要实现一个map方法 , 简单几行代码就可以将海量数据分布式到客户自己的多台机器上执行 , 进行跑批 。

    • MapReduce模型:MapReduce模型是Map模型的扩展 , 新增reduce接口 , 所有子任务完成后会执行reduce方法 , 可以在reduce方法中返回该任务实例的执行结果 , 或者回调业务 。

    3.5 强大的运维能力