主流云平台介绍之—AWS(12)

EMR提供两种类型的集群:

1. 步骤运行集群

2. 长久运行集群

对于步骤运行集群 , 我们可以创建一个特定的集群 , 分配特定EC2来运行集群 , 给定一个集群创建成功后的运行步骤 。 那么在集群创建好之后 , EMR会自动运行我们提供的步骤 , 运行结束后 , 会自动关闭此集群 , 删除对应的EC2资源 。

比如:我们可以写一个Spark任务 , 从S3读取数据 , 并将结果存放到S3中 , 那么可以将这个任务提交给EMR步骤运行集群 , 那么其流程就是:

1. 预配置:比如勾选需要多少个EC2 , EC2是什么类型 , Spark任务在哪里

2. 预配置完成后 , EMR就会创建对应的EC2 , 然后在对应EC2上部署集群

3. 集群部署完成后 , 运行我们提交的Spark任务

4. Spark任务运行完成后 , EMR关闭集群 , 删除EC2

推荐阅读