开发者社区> 问答> 正文

Apache Flink的fat JAR的最大大小

我已经构建了一个Apache Flink应用程序并将其打包在带有Gradle Shadow插件的胖JAR中。生成的文件大小约为114 MiB。当我尝试使用Flink的Web UI上传它时,它仍处于“正在保存...”阶段。如果我使用curl手动上传它,结果是“413 Request Entity Too Large”:

$ curl -X POST -H "Expect:" -i -F "jarfile=@flink-all.jar" http://ec2-18-204-247-166.compute-1.amazonaws.com:8081/jars/upload

HTTP/1.1 413 Request Entity Too Large
content-length: 0
那么有什么选择呢?

UPD:我可以看到JAR,/tmp/flink-web-UUID/flink-web-upload/UUID/flink-all.jar但Flink无法识别(在UI上不可见)。

展开
收起
社区小助手 2018-12-11 16:21:13 3841 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    首先,我已经扫描了他们的回购“太大”字符串并找到了这个类。看起来像SERVER_MAX_CONTENT_LENGTH负责最大对象大小。它被设置在这里从配置选项rest.server.max-content-length。默认值为100 MiB。

    TLDR:

    设置rest.server.max-content-length在flink-conf.yaml到209715200(200兆),解决了这个问题。

    2019-07-17 23:19:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink技术进阶 立即下载
Apache Spark: Cloud and On-Prem 立即下载
Hybrid Cloud and Apache Spark 立即下载

相关镜像