探索云世界
我们目前是使用的flink1.6.1 和2.8.1版本的hadoop,实验过程中发现正在运行的flink job会出现taskmanager丢失失去所有的slot的情况,所以想添加HA配置,但是有两个疑问:
1.flink on yarn的HA 是不是只有在jobmanager进程重启的时候才会触发,重新启动一个jobmanager并重新申请资源,如果jobmanager没有变化但taskmanager丢失,会不会为job重新申请计算资源
2.
这是在官网上HA的描述,请问如果没有使用yarn-session的方式,直接提交jar包,可以使用HA吗?
希望大佬可以帮忙解答,万分感谢!
写回答
问题1：flink HA是在JM failover时发挥其作用，重启JM但会保持TM存活，有需要（例如过程中有TM failover）才会重新申请资源，没有需要则不会。JM不变TM丢失的场景跟HA无关，JM会重新申请资源
问题2: session和perjob两种方式都支持HA
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
