查看运行异常日志 查看启动和运行日志 查看历史作业实例日志 作业状态管理 系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集，用来管理作业的生命周期。作业状态管理 调优诊断 智能诊断服务能够帮用户监控作业健康状况，分析...
数据开发与生产链路：开发人员在开发环境先开发代码、配置调度依赖、调试任务，待冒烟测试无误后可申请提交发布，此时应由一个运维/部署/管理员角色来进行代码Review，确认无误后即可发布到生产环境，让规范、安全的代码在生产环境定期运行...
系统管理 系统配置：自动化完成系统设置和配置任务。软件安装：批量安装和配置软件应用。维护任务：自动化执行系统维护和清理任务。办公自动化 流程审批：自动化处理需要人工审批的办公流程。报表生成：自动生成各类业务报表和分析报告。...
数据录入：将结构化数据批量导入各类Web管理系统。流程审批：自动化处理需人工参与的Web端审批流程，缩短处理周期。电商运营 商品管理：实现商品上架、下架、信息更新及推广内容发布的自动化。订单处理：自动完成订单确认、发货通知等后续...
数据接入层（STG）：按应用系统划分，例如“stg_营销系统”、“stg_生产管理系统”等。任务节点：只有数据集成任务。数据表：只有原始数据，生命周期短。空间成员：各应用系统的DBA。资源倾斜：数据集成资源组、存储空间。数据清洗层（ODS...
您可以利用数仓管理体系中的角色划分，对项目空间、项目空间中的任务流进行权限管理。本文介绍项目空间的权限体系。项目空间权限体系概览表 说明 为了便于浏览和内容表达，本文的表格约定使用下述注释：✔️：支持该权限。❌：不支持该权限...
版本管理 系统支持通过版本管理功能将手动业务流程还原到指定的历史版本，同时还提供版本查看与对比功能，方便您分析差异并做出调整。在左侧 手动业务流程 中，双击目标手动业务流程名称，进入业务流程画布。单击业务流程画布右侧的 版本，...
Data Studio个人开发环境是账号级云端开发实例，集成OSS/NAS存储、Git代码管理及Python/Notebook生态，支持本地脚本执行、在线调试与任务提交，通过灵活的自定义镜像和外部服务扩展能力，为数据处理、模型训练及协作开发提供高效、可定制的...
例如，授予某成员 DataWorks 的 开发 角色，系统会自动为该成员在绑定的 MaxCompute 项目中赋予相应的读写权限。理解这一映射关系是正确配置权限的关键。DataWorks权限体系更多信息，请参见 DataWorks权限体系介绍。权限说明 当前操作者...
背景信息 YARN是一个分布式的资源管理系统，是Hadoop的核心组件，在Hadoop集群中主要负责资源管理、调度运行及监控作业。关于EMR YARN的详情，请参见 YARN调度器。在DataWorks中，您可通过如下方式配置调度节点运行时使用的YARN资源队列：...
DataWorks 管理控制台是进行环境设置与资源管理的可视化平台。其管理能力贯穿两个层面：在全局层，支持配置租户级的通用角色和报警规则；在工作空间层，支持为每个独立的项目精细配置其专属的计算资源、数据源和开发成员。核心概念与系统...
相较之前客户基于python开源的airflow任务管理系统来说，DataWorks拥有以下优势：任务管理一目了然，任务出错定位以及即时跳转到相关任务代码修复。数据源一次性管理，不需要重复劳动，可被多种数据服务需求使用游戏业务拥有上百个数据源。...
版本管理 系统支持通过版本管理功能将工作流还原到指定的历史版本，同时提供版本查看与对比功能，方便您分析差异并进行调整。在左侧 项目目录 中，双击目标周期工作流名称，进入工作流画布。单击工作流画布右侧的 版本，在 版本 页面查看和...
版本管理 系统支持通过版本管理功能将组件还原到指定的历史版本，同时还提供版本查看与对比功能，方便您分析差异并作出调整。在左侧 项目组件管理 中，双击需要查看并进行版本管理的组件名称，进入组件编辑页。单击组件编辑页右侧的 版本，...
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
本文介绍了在医疗行业中使用了...提供白名单、机型、系统版本等多维度发布能力，实现整体应用动态化管理。发布包大小极致优化，节省流量和存储。小程序一次开发，不仅可以实现面向自有 App 投放，更可一键投放至支付宝、淘宝等其他业务平台。
本方案面向希望提升开发效率的DataWorks用户，通过SSH安全连接，将本地Visual Studio Code编辑器与云端个人开发环境打通，让开发者在享受本地工具体验的同时，无缝利用云端计算与数据能力，实现编码、调试效率的提升。流程概览 环境准备：...
触发式工作流版本管理 系统支持通过版本管理功能将触发式工作流还原到指定的历史版本，同时还提供版本查看与对比功能，方便您分析差异并做出调整。在左侧 项目目录 中，双击目标触发式工作流名称，进入工作流画布。单击工作流画布右侧的 ...
H5 应用灰度发布高级规则需要在 开发配置 发布规则管理 中进行配置，可以在 发布规则管理 中添加对应的规则信息。在 发布规则管理 中为您提供了城市、机型、手机系统版本、网络类型和平台（苹果、安卓）等对应规则。更多发布规则详情请参考...
DataWorks提供的EMR（E-MapReduce）Hive节点支持云端大规模数据的批处理分析，能够操作存储在分布式系统中的数据，简化大数据处理流程并提高开发效率。在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量...
小游戏灰度发布高级规则需要在 开发配置 发布规则管理 中进行配置，可以在 发布规则管理 中添加对应的规则信息。在 发布规则管理 中为您提供了城市、机型、手机系统版本、网络类型和平台（苹果、安卓）等对应规则。更多发布规则详情请参考 ...
2011 FLINK_SQL_BATCH EMR EMR Hive 可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。227 EMR_HIVE EMR Impala PB级大数据的快速、实时交互式SQL查询引擎。260 EMR_IMPALA EMR MR 可以将大规模...
系统内置集成是由魔笔平台封装的集成资源，旨在简化用户的操作，帮助用户快速高效进行集成操作的开发和使用。系统内置集成 系统内置集成 是魔笔平台预置的集成资源，位于集成列表中置顶的"系统内置集成"文件夹中。这类集成资源由魔笔平台...
小程序灰度发布高级规则需要在 开发配置 发布规则管理 中进行配置，可以在 发布规则管理 中添加对应的规则信息。在 发布规则管理 中为您提供了城市、机型、手机系统版本、网络类型和平台（苹果、安卓）等对应规则。更多发布规则详情，请...
了解创建数据源并绑定至数据开发的相关内容，详情请参见 数据源管理、开发前准备：绑定计算资源或集群。使用限制 仅支持阿里云主账号执行工作空间模式升级操作。暂不支持将开启新版数据开发的工作空间从简单模式升级为标准模式。升级策略 ...
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
系统将展示已发生过的通知，您可按需执行操作。自定义配置接收对象 单击目标消息 操作 栏下的 修改。说明 您也可以在目标消息通知行右侧的 可选通知角色 列下，快速勾选 可选通知角色。在弹窗中，按需选择 可选通知角色 或 附加通知用户。...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
通过使用树莓派（Raspberry Pi 4）、DHT11温湿度传感器设备和物联网应用开发（IoT Studio）平台，构建一个服务器机房的实时动态环境温湿度检测系统。设计思路 创建并接入相应的产品和设备，实现数据实时上报至阿里云IoT平台。使用IoT ...
在魔笔低代码开发平台中，空间成员授权是查看和管理团队成员开发权限的关键功能。通过空间设置中的成员页，管理员可以查看和管理所有成员的权限，添加新成员，并为他们分配适当的角色。查看成员列表 在成员页中，您可以查看当前空间的所有...
它通过提供一个独立的、项目制的容器，让您能够结构化地管理开发任务、计算资源和成员权限，从而实现安全、有序、高效的团队协同开发。说明 推荐您优先阅读 工作空间概述。核心示例 对于有经验的用户，您可以通过以下最简路径创建一个可...
将常用的自定义扩展程序发布为公共扩展程序后，方便其他用户直接使用该功能，避免重复开发。本文为您介绍如何将自定义扩展程序发布为公共扩展程序，首次发布为公共扩展程序时，系统会自动建立该公共扩展程序的v1版本，后续更新时依此类推。...
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
新增发布规则 在 小程序开放平台 的 开发者后台 左侧菜单栏单击 开发配置 发布规则管理+新增规则。在 新增规则 弹窗中设置 规则名称、规则类型 和 平台。规则名称：不同灰度发布规则的名称。规则类型：为了适配不同客户在自有环境中的灰度...
若您要使用DataWorks进行Flink任务的开发、管理，需先将您的实时计算Flink集群绑定为DataWorks的全托管Flink计算资源。绑定完成后，可在DataWorks中使用该计算资源进行数据开发操作。前提条件 已 开通实时计算Flink版集群。说明 建议购买...
本文档主要介绍 系统运维管理 C#SDK的安装和使用，适用于1.0版本。请确保您已经开通了阿里云 系统运维管理，并创建了AccessKeyId和AccessKeySecret。如果您还没有开通或者还不了解阿里云 系统运维管理，请登录 系统运维管理 管理控制台 ...
参数节点是一种特殊的虚拟节点，用于管理业务流程中的参数和实现参数在任务节点中传递，支持常量参数、变量参数和透传上游节点的参数，需要引用参数的节点直接依赖参数节点即可。本文为您介绍如何创建参数节点，引导您高效使用DataWorks...
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...