开发者社区> 问答> 正文

启动新的Flink作业时“无法分配内存”

我们在3 VM集群上运行Flink。每个VM大约有40个内存。每天我们停止一些工作并开始新的工作。几天后,以“无法分配内存”错误拒绝开始新作业:

OpenJDK 64位服务器VM警告:INFO:os :: commit_memory(0x0000000340000000,12884901888,0)失败; error ='无法分配内存'(错误= 12)

调查显示,任务管理器RAM正在不断增长,直到超过允许的40 Go,尽管作业被取消。

我还没有访问群集,所以我在笔记本电脑上的独立群集上尝试了一些测试并监视任务管理器RAM:

使用jvisualvm,我可以看到一切按预期工作。我加载了作业内存,然后清理它并等待(几分钟)GB启动。堆已释放。
然而top,记忆保持 高。
目前我们每天早上都要重新启动群集来解决这个内存问题,我很确定这不是一个Flink问题,但是有人能指出我正确的方向来解决我们的错误吗?

展开
收起
flink小助手 2018-12-13 14:12:39 2529 0
1 条回答
写回答
取消 提交回答
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    在独立模式下,Flink可能无法按您的意愿释放资源。例如,资源由实例中的静态member保留。

    强烈建议使用YARN或K8作为运行时环境。

    2019-07-17 23:20:35
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 案例集(2022版) 立即下载
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载