DataWorks2.0调度参数配置小议

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: Dataworks的参数配置功能帮助您的任务在自动周期运行时能动态适配环境变化,本文主要介绍使用最新的DataStudio工具在配置参数及调试过程中需要注意的事项。

概述

Dataworks的参数配置功能帮助您的任务在自动周期运行时能动态适配环境变化,本文主要介绍使用最新的DataStudio工具在配置参数及调试过程中需要注意的事项。


参数生效问题

这个问题是个特别需要注意的问题,在完成参数配置后进行保存,直接运行测试发现参数并未完成替换,且不生效,提交节点后在运维中心中使用冒烟测试的方式才能生效。

参数说明

  • ${bdp.system.cyctime}:定义为一个实例的定时运行时间,默认格式为yyyymmddhh24miss;
  • ${bdp.system.bizdate}:定义为一个实例计算时对应的业务日期,业务日期默认为运行日期的前一天,默认以yyyymmdd的格式显示;
  • 如果{}参数,就是以bizdate为基准参与运算。示例:前N月:${yyyymm-N};
  • 如果是[]参数,是以cyctime为基准参与运行。

实验测试

DDPS SQL测试
  • 参数设置
    1
  • 直接运行日志
    2
  • 运维中心冒烟测试
    3
shell测试
  • 参数设置
    2_1
  • 直接运行测试(运行中显示指定参数)
    2_2
  • 冒烟测试
    2_3
Python参数配置
  • 参数配置
    py_
  • code调用
# 初始化到args
args['dd']
a = args['dd']
print a

总结

1、参数配置测试情况可以参考上面的测试进行合理的预配置,如在SQL中写死固定常量值进行测试;
2、如果需要测试验证配置的有效性,请在冒烟测试中进行;
3、配置的即时是系统参数也不要在代码中直接指定,最好配置后再在SQL或shell中使用;
4、关于参数的细节及配置,请参考官方链接

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
1月前
|
DataWorks Java 关系型数据库
DataWorks常见问题之将预警信息发送至邮箱
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
35 1
|
1月前
|
DataWorks 调度 数据库
DataWorks中的任务期望最大并发数配置**不是ClickHouse的默认并发数**
【2月更文挑战第34天】DataWorks中的任务期望最大并发数配置**不是ClickHouse的默认并发数**
12 1
|
1月前
|
SQL 存储 DataWorks
DataWorks常见问题之dataworks数据源配置跨项目克隆失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks报错问题之dataworks配置数据源报UnknownHostException如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
DataWorks 关系型数据库 MySQL
DataWorks报错问题之dataworks配置mysql数据源报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks常见问题之配置数据源没有tidb如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
34 2
|
1月前
|
分布式计算 DataWorks 大数据
DataWorks常见问题之配置数据源没有tidb如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
25 2
|
1月前
|
移动开发 运维 DataWorks
dataworks 常见问题之如何设置离线同步
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
25 0
|
1月前
|
DataWorks 监控 大数据
DataWorks常见问题之如何实时同步任务配置参数
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
37 0
|
1月前
|
数据采集 DataWorks 监控
DataWorks常见问题之监控规则是数据质量配置好钉钉机器人不报警如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
32 5