DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,支持您基于自己的业务需求,在关键的流程节点上进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为...
变量:参数取值为变量,如果您需要使用系统时间等这类变量参数时,添加参数的参数类型需选择为变量。变量参数的详细介绍可参见 调度参数支持的格式。透传变量:透传变量主要用于将上游节点的产出参数透传至下游节点,参数取值可选择参数...
DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
开发人员只能在数据开发界面编辑代码并且提交,但是不能将代码直接发布到生产环境,发布生产的操作需要有运维权限(项目所有者、管理员、运维这几类角色拥有此权限)。所有代码仅支持在开发环境编辑,无法修改生产环境的代码。您可基于标准...
本文为您介绍DataWorks数据开发(DataStudio)界面的整体布局,以及进行开发操作的主界面(业务流程和节点)中各组件、按钮的功能作用,方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧...
虚拟节点属于控制类节点,它是不产生任何数据的空跑节点(即调度到该节点时,系统直接返回成功,不会真正执行、不会占用资源或阻塞下游节点运行),通常作为业务流程的统筹起始节点,或业务流程中多个分支节点的汇总输出节点使用。...
在节点(Shell节点、Python节点、Notebook节点)中使用数据集,以便在数据开发过程中读写NAS或OSS存储中的数据。也可以在创建个人开发环境时,将数据集作为个人开发环境实例的存储。重要 建议优先阅读 管理数据集,了解如何创建数据集。...
数据开发为用户提供一站式计算节点开发能力,通过对数据加工流程的开发和运行调试等环节的一体化管理,数据开发实现数据加工工作流编排、加工逻辑的复用,大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构,提高系统的工程化水平...
本方案面向希望提升开发效率的DataWorks用户,通过SSH安全连接,将本地Visual Studio Code编辑器与云端个人开发环境打通,让开发者在享受本地工具体验的同时,无缝利用云端计算与数据能力,实现编码、调试效率的提升。流程概览 环境准备:...
数据开发为用户提供一站式计算节点开发能力,通过对数据加工流程的开发、部署、调试等环节的一体化管理,数据开发实现数据加工工作流编排、加工逻辑的复用,大幅提高数据开发效率。数据开发帮助用户优化智能系统的架构,提高系统的工程化...
在进行数据开发前,可通过检查项对数据开发功能相关的约束进行检查,当检查出存在不符合约束规范的内容时,系统会生成影响开发流程正常执行的问题事件。您可基于该事件处理暴露的问题,以便数据开发流程可以正常执行。治理项检测。用于发布...
在列表中置顶的文件夹 系统内置集成 包含了系统内置的一些集成资源,这类资源无法进行创建和删除。点击创建集成后进入添加集成的流程,首先选择集成的类型,点击下一步后根据所选择的类型填写对应的集成资源配置项。对于 MySQL、PostgreSQL...
新增变量参数 参数取值为变量,如果您需要使用系统时间等这类变量参数时,添加参数的参数类型需选择为变量。打开参数节点编辑页面,单击左上角的新增参数按钮,进行新增参数。配置变量参数:配置项 配置说明 参数名称 自定义参数名称。说明...
ANR 卡死 即系统 ANR 卡死,定义详见 Android 官网 ANR。App 运行时主线程在 10 秒(iPhone6 及以下机型 20 秒)内未执行完一个方法。重要 在查看卡死报告之前,确保您已完成客户端 SDK 接入和埋点,具体参见 接入 Android 客户端 和 接入 ...
公共组件 公共组件不区分设计系统,适用于任何组件库,包括表单类(如评分、语音输入)、展示类(如文本、图标、二维码)、容器类(如多容器视图)和图表类(如折线图、饼图)等。切换方法 切换组件库 在魔笔平台设置→组件库中,选择不同...
已预内置了该属性,例如:label checkbox aria-labelledby="content"value="{{checked}}"/text id="content"复选框内容/text/label 若使用自定义组件开发的 checkbox、switch 等组件,需要使用 aria-checked 属性,才能使读屏软件获取组件...
维度建模:维度建模支持逆向建模,解决现有数仓的建模冷启动难题,支持可视化数仓维度建模,支持通过Excel文件导入模型和通过FML(一种类SQL的DSL)快速构建模型,支持与数据开发DataStudio无缝打通,自动生成ETL代码。数据指标:数据指标...
MaxCompute MapReduce:MaxCompute的原生接口,执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce(MR2):对MaxCompute MapReduce的扩展,支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
MaxCompute MapReduce:MaxCompute的原生接口,执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce(MR2):对MaxCompute MapReduce的扩展,支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
单击左边侧边栏的 图标,单击 更多 系统管理,进入 系统管理 页面,设置StarRocks类的查询资源组为任务使用的资源组。回到SQL查询页面,在右上角切换引擎类型为StarRocks,并选择数据源,即可编辑查询语句并运行,进行EMR Serverless ...
作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...
附录:任务执行环境说明 标准模式工作空间下,一个计算资源实例存在开发环境和生产环境两套配置,不同环境可以指定不同的数据库或实例,系统将通过运行环境自动映射访问不同的计算资源,从而实现开发测试与生产调度的隔离。例如,执行离线...
DevPod 是函数计算 FC 提供的云端开发环境。它集成了 VS Code、Jupyter Notebook 与终端等常用开发工具,支持通过预置或自定义的容器镜像快速创建开发环境。用户可以在 DevPod 中完成 AI 模型的开发、训练、调试,并将其部署为在线服务。...
指标名称 字段来源 业务规则 系统架构分析 概括当前项目数据开发总体的流程和范围。测试过程管理 测试版本控制 代码从测试环境发布至开发环境后,需描述此部分。项目交付测试通过后,每天上午9点、下午3点接受开发提交的新版本,其他时间...
节点代码定义:MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
ANR 卡死 即系统 ANR 卡死,定义详见 Android 官网 ANR。App 运行时主线程在 5 秒内未执行完一个方法。完成客户端开发 Android 具体步骤如下:接入移动分析组件。更多信息,参见 接入 Android。开启卡死监控。更多信息,参见 Android 性能...
使用说明 仅支持查看DataStudio中以下几类操作记录:任务责任人变更操作、任务调度属性变更操作、任务及表提交操作、任务收藏操作、业务流程删除及数据下载等操作。DataWorks已集成至 操作审计(ActionTrail)中,您可以在ActionTrail中...
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
注意事项 分钟和小时周期调度的任务,OSS对象检查节点的 Check停止策略 不支持配置为 Check停止时间,该类任务您只能选择使用 Check停止次数 停止策略。在任务运行时,将会通过 MaxCompute访问身份 检查OSS对象,请确认OSS Bucket权限设置...
MaxCompute引擎类任务(例如,ODPS SQL、ODPS Spark等)配置依赖映射后,系统会同步修改该任务的任务代码。参数 描述 源项目名称 显示源工作空间下所有跨项目依赖的项目名称。项目属性 项目类别。目标项目名称 选择源项目需要映射的目标...
调用CreateUdfFile,在数据开发中创建函数类型文件。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
调用CreateUdfFile,在数据开发中创建函数类型文件。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
若您希望使用该类组件,则需成为此工作空间的成员,详情请参见 空间级模块权限管控。公共组件管理:组件的开发者可进入 公共组件管理 区域,将具有全局通用性的组件发布到整个租户内,发布后,租户内所有用户均可使用该公共组件。进入组件...
步骤二:开发扩展程序代码 在函数计算上开发扩展程序,需要使用接口 PojoRequestHandler,来实现方法 handleRequest 接收 ExtensionRequest 类的请求和 Context 上下文并定义扩展程序接收处理逻辑,最后通过 ExtensionResponse 类返回扩展...
MaxCompute引擎类任务(例如,ODPS SQL、ODPS Spark等)配置依赖映射后,系统会同步修改该任务的任务代码。参数 描述 源项目名称 显示源工作空间下所有跨项目依赖的项目名称。项目属性 项目类别。目标项目名称 选择源项目需要映射的目标...
DataWorks 计费体系为适应不同业务场景而设计得非常灵活,因此包含软件版本、资源组、其他服务及底层引擎等多个组成部分。本文旨在帮您做出明智的购买决策,根据自身业务阶段选择最优配置以实现成本效益最大化,并提供针对个人开发者、成长...
说明 编辑完某一类配置项后需要 保存 或者 取消 才能编辑其余配置项,不支持同时编辑两类配置项,例如编辑 基础配置 的同时,无法编辑 运行时。保存配置 配置项编辑完成单击 保存,即可暂存配置。如果需要让所有的编辑结果生效,还需 部署...
赋值节点 和部分 SQL 类节点 支持此方式。下游节点(使用方):接收并使用上游节点提供的值。建立调度依赖:配置对上游节点的调度依赖。配置输入参数:在下游节点的 本节点输入参数 区域,添加输入参数,并将其取值来源设置为上游节点的...
新增和使用Serverless资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群,才可在数据开发(DataStudio)进行数据开发工作,并以工作空间为单位管理空间成员,以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
其中,启动卡死的堆栈信息提供了当前全部线程的堆栈内容,供开发人员排查。针对 iOS 机型,仅支持在卡死报告的详情数据中查看非启动卡死对应的堆栈信息。卡死报告不提供启动卡死的堆栈信息。卡死详情 在卡死分类列表中,单击 操作 列的 ...