开发者社区> 问答> 正文

使用Airflow dag运行创建EMR群集,一旦任务完成,EMR将被终止

我有Airflow作业,它们在EMR集群上运行良好。我需要的是,假设我有4个气流工作,需要一个EMR集群让我们说20分钟完成任务。为什么我们不能在DAG运行时创建EMR集群,一旦工作完成,它将终止创建的EMR集群。

展开
收起
小六码奴 2019-04-23 14:26:16 2608 0
1 条回答
写回答
取消 提交回答
  • 执行此操作的最佳方法可能是在Airflow DAG的根目录中创建一个创建EMR集群的节点,然后在DAG的最末端创建另一个节点,在所有其他节点完成后将集群向下旋转。

    2019-07-17 23:34:04
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
生命密码-基因数据的EMR实践 立即下载
超大规模机器学习在EMR的实践 立即下载
EMR弹性低成本离线大数据分析最佳实践 立即下载