开发者社区> 问答> 正文

Azure Flink中的src文件系统上的资源已更改

"在Azure HDInsights群集上设置flink时会出现异常。

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
抛出:

org.apache.flink.client.deployment.ClusterDeploymentException:
Couldn't deploy Yarn session cluster

Caused by:

Failing this attempt.Diagnostics:
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp
changed on src filesystem (expected 1540341676000, was 1540341677000

java.io.IOException:

at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

这似乎是因为wasb blob存储没有保留复制文件的原始时间戳,破坏了在wasb之上的HDFS API抽象。这有什么变通方法吗?

只有我能找到的其他线程是Oozie / yarn:src文件系统上的资源已更改。"

展开
收起
flink小助手 2018-11-28 16:24:32 3499 0
1 条回答
写回答
取消 提交回答
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    "我们使用MS Azure支持,他们确认它只适用于Flink 1.4.x而不适用于1.5.x或1.6.x.

    我们将其降级到1.4.x,现在在Azure群集中工作正常。"

    2019-07-17 23:16:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载