DataWorks新手引导

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。

Q:子账号使用DataWorks需要选择什么授权策略?

A:DataWorks可以无需RAM单独配置权限,但若子账号需要创建项目,可给授权
image

DataWorks给子账号使用的正常流程是:主账号创建项目->主账号新建子账号->将子账号加入项目并赋予角色->子账号登录及更新个人信息

注: 主账号新建子账号时,创建AK这一步的时候,AK一定要保存好,不然子账号在更新个人信息的时候,还需要主账号重新去创建一次AK。
image


Q: 我进入了 DataWorks(大数据开发套件),在哪里写命令?

A:可以在数据开发页面,新建ODPS_SQL任务,在SQL任务中写SQL脚本。
image

要是不知道怎么进入数据开发页面,那就看看这个文档吧:使用说明


Q: 关于创建任务时的一点疑惑

A:
image

任务类型:节点任务是单个的任务;工作流任务是指,一个工作流任务中可以包含多个节点任务(最多30个节点任务)。
调度类型:手动任务是只能手动触发运行的 ;周期调度是指,我们会根据您任务的调度配置,定时去运行您的任务;调度类型一旦确认将无法修改。


Q:为什么要提交任务,这个提交是提交到哪里,提交后有什么用?

image

提交:是 DataWorks 特有的一个逻辑,没有提交的任务代码,是不能享受 DataWorks 强大的调度功能的。任务提交,是提交到了哪里呢?任务提交是提交到了调度系统,调度系统的功能是:根据您任务中的调度配置去运行任务。您只需要配置好任务的运行周期和任务之间的依赖关系,就再也无需担心任务的运行了。简直是给任务找了一个保姆,一键托管呐。

说了这么多,任务的调度配置在哪里呢?
image

给DataWorks 团队一个赞,简直是太好用了~ hahaha~~

插播一个小广告,DataWorks团队招产品、技术、测试、UED 有意向可以钉钉联系彭敏!

Q:DataWorks 为什么提交了任务以后,任务没有运行呢?

A: 我设置了一个每小时跑一次的任务,提交了任务以后,为什么接下来的一个小时,这个任务还没有开始运行呢?
是因为DataWorks 的调度系统,是当天晚上23.30开始生成第二天需要运行的任务实例,所以提交的任务要等到第二天才会自动运行哦。

注意:如果超过了23.30提交的任务,可能就赶不上当天批量生成实例这趟车了,只能等下一趟(也就是第三天才会开始运行)。但如果需要快速运行起来,可以选择测试运行和补数据运行~

怕大家不能理解为什么产品逻辑要这么设置,我就给大家解释一下:如果咱们要算公司每天的销售额,总不能是当天晚上算吧(要是算完以后,又有人来消费了,还得再加上,太麻烦了),所以我们都是今天计算昨天的销售额(这个 ‘昨天’ 我们也叫业务日期,请大家在选择时间的时候,注意看清楚,选择的是业务日期还是运行日期)。


Q:如何测试运行一个任务呢?

A: 我这个SQL 已经编辑好了,我现在想运行一下这个SQL ,来测试一下我的代码,那我该怎么运行这个SQL呢?
image

运行SQL任务有两种方式,如上图所示:

方式一:运行,这种运行方式是直接将SQL代码下发到底层去执行,好处是方便快捷,坏处是运行结果只保留在页面上,页面刷新/关闭后就没有了,且寻找历史执行记录相对麻烦。

方式二:测试运行,这种运行方式是需要将代码提交到调度系统,然后触发调度系统生成实例快照,成功生成实例后,才会开始运行任务。好处是可以使用调度系统参数、能够看到每一次运行的运行记录(运行记录保留30天),坏处是相对麻烦一点。


Q:如何补数据运行一个任务呢?

补数据前咱们先了解一下,啥时候需要做补数据这个操作,补数据能干啥?
补数据可以选择一个业务流程(通过多个任务间的相互依赖,完成了一个业务流程),还能选择多个业务日期(其实就是能选好多天),这样即使代码写错了,还是能有挽救的机会的嘛,下面有两个经典场景,仅供参考:

  1. 如果任务周期运行后,发现今天任务的运行结果不符合预期,想重跑一下,那么可以选择补数据运行来实现(为啥用补数据,是因为补数据可以选择下游节点,测试运行只针对单个节点有效)。
  2. 想测试一下任务的调度配置是否有效,请选择补数据运行,不仅可以选择下游节点,还能选择任务的业务日期(一次操作,可以补很长一段时间的任务呢),完美解决不知道调度配置是否符合预期的问题。

A: 说了那么多,下面说一下怎么补数据。
补数据这个步骤需要到 运维中心 里面去操作,运维中心在哪看图片~
image

如果在运维中心里没有找到心仪的任务,那么说明你打开的方式不对,你可以换种方式打开,比如说:

  1. 看看任务是否提交了;
  2. 看看任务的类型是否选对了;
    image

选中任务后,就可以去选择补数据的任务和日期了。

再多说一句:补数据的时候,如果任务和时间选择的都比较多,会批量生成大量的任务实例,请小主谨慎操作~


Q:如何查看任务的日志?

A:任务测试运行以后,页面会有一个链接跳转到运维中心-测试实例下,可以选中任务,单击查看节点运行日志,即可查看到任务的运行日志(如果任务有报错,您不知该如何处理,请将日志以txt格式保存,通过工单反馈给我们)。
image


如有其他问题,请加钉钉群~ 加群后可以直接 AT 李珍珍!

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
7月前
|
存储 弹性计算 大数据
阿里云服务器简介和优势以及购买流程
阿里云服务器简介和优势以及购买流程,阿里云服务器全方位介绍包括云服务器ECS优势、云服务器租用价格、云服务器使用场景及限制说明,阿里云百科分享云服务器ECS介绍、个人和企业免费试用、云服务器活动、云服务器ECS规格、优势、功能及应用场景详细说明
|
11月前
|
安全 容灾 网络安全
阿里云主机简介和购买使用流程
阿里云是阿里巴巴旗下的云计算品牌,其主机产品作为阿里云的核心产品之一,受到了越来越多用户的青睐。通过阿里云主机,用户可以获得高性能、高安全、高可靠的计算资源,更好地满足自己的业务需求。本文将对阿里云主机进行全面介绍,包括主机类型、性能特点、购买流程等。
|
12月前
|
弹性计算 Oracle Ubuntu
阿里云服务器迁移中心SMC视频教程
阿里云服务器迁移中心SMC视频教程,上云是趋势,越来越多企业的IDC服务器选择迁移上云,迁移上云的方式有很多,阿里云提供服务器迁移中心SMC来帮助用户迁移上云。使用SMC服务器迁移中心,将您的源服务器方便快捷地迁移至阿里云,支持的迁移源类型包括IDC服务器、虚拟机、其他云平台的云主机或其他类型的服务器。阿里云SMC服务器迁移中心了解一下,附Linux系统迁移上云和Windows系统迁移上云视频教程:
136 0
|
12天前
|
弹性计算 安全 网络安全
云防火墙初次开通使用最佳实践
云防火墙可以帮助用户在云上实现业务隔离和防护,确保业务安全和满足合规要求,如果您在购买云防火墙不知道如何使用,本文将从业务介绍新手如何结合业务更好的使用云防火墙。
45 0
云防火墙初次开通使用最佳实践
|
弹性计算 运维 Linux
《ECS运维指南之Windows系统诊断》电子版地址
本书结合阿里云工程师多年云上ECS运维经验,从实战角度讲解windows,实例丰富,容易理解,内容实用,适合广大运维工程师学习。
93 0
《ECS运维指南之Windows系统诊断》电子版地址
|
弹性计算 运维 Linux
《ECS运维指南之Windows系统诊断》下载地址
本书结合阿里云工程师多年云上ECS运维经验,从实战角度讲解windows,实例丰富,容易理解,内容实用,适合广大运维工程师学习。
65 0
《ECS运维指南之Windows系统诊断》下载地址
|
弹性计算 运维 Linux
《ECS运维指南 之 Linux系统诊断》电子版地址下载
本书以浅显易懂的案例带领您进入Linux 的世界,由浅入深,由表及里,层层推进,从运维工作的实际需求出发,全面讲解相关的技术、经典案例,以及常见问题的解决方案。本书语言通俗易懂,讲解风趣幽默,读来轻松自如,酣畅淋漓,每个知识点都结合具体实例进行讲解,尽可能避免枯燥乏味的理论解释,是学习Linux不可多得的一本好书。
102 0
《ECS运维指南 之 Linux系统诊断》电子版地址下载
|
弹性计算 运维 Linux
《ECS运维指南之Windows系统诊断》电子版下载地址
本书结合阿里云工程师多年云上ECS运维经验,从实战角度讲解windows,实例丰富,容易理解,内容实用,适合广大运维工程师学习。
81 1
《ECS运维指南之Windows系统诊断》电子版下载地址
|
弹性计算 运维 Linux
《ECS运维指南 之 Linux系统诊断》电子版
本书以浅显易懂的案例带领您进入Linux 的世界,由浅入深,由表及里,层层推进,从运维工作的实际需求出发,全面讲解相关的技术、经典案例,以及常见问题的解决方案。本书语言通俗易懂,讲解风趣幽默,读来轻松自如,酣畅淋漓,每个知识点都结合具体实例进行讲解,尽可能避免枯燥乏味的理论解释,是学习Linux不可多得的一本好书。
121 0
《ECS运维指南 之 Linux系统诊断》电子版
|
弹性计算 运维 Linux
《ECS运维指南之Windows系统诊断》电子版
本书结合阿里云工程师多年云上ECS运维经验,从实战角度讲解windows,实例丰富,容易理解,内容实用,适合广大运维工程师学习。
126 0
《ECS运维指南之Windows系统诊断》电子版