开发者社区> 问答> 正文

是否有办法在运行时获取有关SparkMetrics配置的信息

我使用CSV sinc将metrics.properties文件添加到资源目录(maven项目)。当我在本地运行Spark应用程序时,一切都很好 - 会出现指标。但是,当我向Amazon EMR提交相同的fat jar时,我没有看到任何尝试将指标放入CSV sinc。所以我想在运行时检查SparkMetrics子系统的加载设置。如果有可能这样做?我调查SparkEnv.get.metricsSystem但没有找到任何。

展开
收起
小六码奴 2019-04-24 16:16:18 2120 0
1 条回答
写回答
取消 提交回答
  • 这基本上是因为EMR上的Spark没有metrics.properties从resources fat jar.的目录中获取自定义文件。

    对于EMR,首选的配置方法是通过EMR配置API,您需要在其中传递classification和properties嵌入JSON。

    对于spark metrics子系统,这里是修改几个指标的示例
    [

    {
      "Classification": "spark-metrics",
      "Properties": {
        "*.sink.csv.class": "org.apache.spark.metrics.sink.CsvSink",
        "*.sink.csv.period": "1"
      }
    }

    ]
    使用Amazon Console或SDK创建EMR集群时,可以使用此JSON

    2019-07-17 23:34:11
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Android内存泄漏自动化链路分析组件--Probe 立即下载
面向失败设计 立即下载
APP加固新方向 --混淆和瘦身 立即下载