系统管理 应用配置:自动化完成移动应用设置和配置任务。应用安装:批量安装和配置移动应用。维护任务:自动化执行移动设备维护和清理任务。自动化办公 流程审批:自动化处理需要人工审批的移动办公流程。报表生成:自动生成各类移动端业务...
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足Hologres开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作,若需获取更专业的数据治理、数据安全解决方案,可选择相应的标准版、专业版、企业版服务。DataWorks标准版...
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作,若需获取更专业的数据治理、数据安全解决方案,可选择相应的 标准版、专业版、企业版 ...
DataWorks 管理控制台是进行环境设置与资源管理的可视化平台。其管理能力贯穿两个层面:在全局层,支持配置租户级的通用角色和报警规则;在工作空间层,支持为每个独立的项目精细配置其专属的计算资源、数据源和开发成员。核心概念与系统...
它通过提供一个独立的、项目制的容器,让您能够结构化地管理开发任务、计算资源和成员权限,从而实现安全、有序、高效的团队协同开发。说明 推荐您优先阅读 工作空间概述。核心示例 对于有经验的用户,您可以通过以下最简路径创建一个可...
类别 描述 相关文档 版本选择 DataWorks基础版服务可满足MaxCompute开发中基本的数据上云、数据开发与调度生产、简单的数据治理工作,若需获取更专业的数据治理、数据安全解决方案,可选择相应的标准版、专业版、企业版服务。DataWorks标准...
查看不同环境对应的MaxCompute计算资源信息,详情请参见 旧版数据开发:绑定MaxCompute计算资源。资源管理 DataWorks仅支持查看与管理通过DataWorks可视化方式上传的资源,若通过其他工具(例如,MaxCompute Studio)添加至MaxCompute的...
前提条件 已在管理中心绑定实时计算Flink版计算资源,详情请参见 绑定计算资源。已创建Flink SQL Streaming节点,详情请参见 创建调度工作流的节点。步骤一:开发Flink SQL Streaming节点 在Flink SQL Streaming节点编辑页面,执行如下开发...
旧版数据开发:MaxCompute、AnalyticDB MySQL、AnalyticDB PostgreSQL、ClickHouse、Hologres。重要 上述数据源如用于数据开发场景,建议使用通过绑定计算资源的方式自动创建,否则数据开发任务无法运行。手动创建 用户需手动填写数据源的...
DataWorks 提供一站式大数据开发与治理平台,涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力,支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成:全领域数据汇聚 DataWorks的数据...
若您要使用DataWorks进行AnalyticDB for MySQL3.0任务的开发、管理,需先将您的AnalyticDB for MySQL3.0集群绑定为DataWorks的AnalyticDB for MySQL(V3.0)计算资源。创建完成后,可在DataWorks的各功能模块使用该计算资源连接AnalyticDB ...
通过这些功能,您可以对认证文件、DDL消息处理策略、任务模板、公共报警规则等进行集中化、标准化的管理,从而提升开发效率和项目的规范性。配置入口 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据集成 数据集成,在下拉...
管理控制台授权 开发与运维操作 如果用户需要进行作业开发、作业调试或其他运维等操作,则用户需登录实时计算 开发 控制台。全量权限:如果希望用户拥有该项目空间开发控制台的全部权限,可以为其绑定 Owner 角色。细粒度权限:若需对用户...
在进行数据发布前,可通过检查项对数据开发功能相关的约束进行检查,当检查出不符合约束规范的内容时,系统会生成影响开发流程正常执行的问题事件,您可基于该事件处理暴露的问题,以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
同时提供包括白名单、机型、城市、系统版本等多维度发布能力,实现整体应用的动态化管理。全方位实现 App 端精细化运营 监控 App 运行数据如闪退、卡死、卡顿、电量、流量等。提供用户报活、登录、新增等多种指标统计功能,支持按平台、...
将已有旧版数据开发升级为新版数据开发,在旧版数据开发界面顶部单击 升级 按钮,根据页面提示完成升级。2025年02月18日后,主账号在如下地域首次开通DataWorks并创建工作空间时,默认启用新版数据开发。华东1(杭州)、华东2(上海)、...
在节点(Shell节点、Python节点、Notebook节点)中使用数据集,以便在数据开发过程中读写NAS或OSS存储中的数据。也可以在创建个人开发环境时,将数据集作为个人开发环境实例的存储。重要 建议优先阅读 管理数据集,了解如何创建数据集。...
DataWorks支持在创建个人开发环境的自定义镜像时,同步生成MaxCompute的自定义镜像,方便您在DataWorks节点(如PyODPS 3节点、Notebook节点)中使用MaxCompute自定义镜像。本文将为您介绍在DataWorks构建并使用MaxCompute自定义镜像。背景...
SubmitFile 提交文件至调度系统开发环境 提交文件至调度系统的开发环境,生成对应的任务。DeployFile 部署文件 发布文件至生产环境。文件夹 文件夹 CreateFolder 创建文件夹 调用CreateFolder创建文件夹。DeleteFolder 删除数据开发页面的...
数据管理DMS数仓开发通过项目空间、业务场景和任务流三级目录讲行项目管理,同时支持数仓分层管理,有利于清晰地管理某一情景下的数据仓库管理需求,充分满足各类复杂的数仓开发和管理需求。项目空间是数仓开发、管理和运维的基本单位。...
若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目绑定为DataWorks的MaxCompute计算资源。绑定完成后,可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析...
数据开发(旧版)节点 仅支持 空间管理员、开发 角色添加节点标签。进入 数据开发节点 详情页,在 调度配置 标签 设置。进入数据开发,使用 批量操作 功能设置。运维中心 调度任务 仅支持 空间管理员、运维 角色,及任务责任人添加任务标签...
本文为您介绍DataWorks数据开发(DataStudio)界面的整体布局,以及进行开发操作的主界面(业务流程和节点)中各组件、按钮的功能作用,方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧...
MaxCompute MapReduce:MaxCompute的原生接口,执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce(MR2):对MaxCompute MapReduce的扩展,支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至DataWorks工作空间,操作详情请参见 旧版数据开发:绑定CDH计算资源。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有 开发 或 空间管理员(权限较...
当检测到不符合要求内容时,会生成检查项事件,系统自动进行拦截处置,从而约束和管理开发流程,确保数据处理的标准化和规范化。治理项:治理项指在数据治理过程中识别资产需要优化或解决的问题点,覆盖研发规范、数据质量、安全合规、资源...
在系统运维管理OOS中,支持用户根据自己的需求和特定应用场景开发自定义扩展程序,或者将其发布为公共扩展程序供其他人使用。在创建扩展程序后,用户在OOS中新建扩展程序任务,可针对单个或者多个ECS实例安装或卸载扩展程序;或者在ECS实例...
开发工具 DevPod 在一个统一的界面中集成了三种主流开发工具,您可以在实例的 DevPod 开发调试 页面中随时切换:VS Code:功能强大的在线集成开发环境,基于 openvscode-server,提供完整的代码编辑、调试、Git 管理和终端功能。...
MaxCompute MapReduce:MaxCompute的原生接口,执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce(MR2):对MaxCompute MapReduce的扩展,支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
数据开发与生产链路:开发人员在开发环境先开发代码、配置调度依赖、调试任务,待冒烟测试无误后可申请提交发布,此时应由一个运维/部署/管理员角色来进行代码Review,确认无误后即可发布到生产环境,让规范、安全的代码在生产环境定期运行...
为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、大数据AI一体化开发、数据分析与主动式数据资产治理服务,帮助企业进行全生命周期数据管理。自2009年以来,DataWorks以阿里巴巴集团大数据建设方法论为基础,...
作为工作空间的管理者,在使用数据开发(DataStudio)时,您可以针对用户的开发行为实施有效的管控措施,进行开发流程、数据安全、审计等相关操作,本文将帮助您快速掌握DataStudio的相关功能,实现对数据开发过程的有效管控。背景信息 ...
SDK 申请系统权限的说明 移动开发平台 mPaaS 在提供服务时会最小化地使用系统权限,您需要根据实际使用的功能申请对应的系统权限并向用户告知征得其同意。使用移动开发平台 mPaaS 的服务将涉及以下权限的申请,您可以参考相关如下表格的...
若您要使用DataWorks进行OpenSearch任务的开发、管理,需先将您的OpenSearch实例绑定为DataWorks的OpenSearch计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据同步和开发操作。前提条件 已 购买OpenSearch向量检索版实例。...
2023-05-25 域名管理 2023年04月 项目管理 功能名称 功能描述 发布时间 相关文档 迁移企业版实例 支持将旧版公共实例的项目、应用、设备等数据迁移到企业版实例中。2023-04-27 迁移企业版实例 Web可视化开发 功能名称 功能描述 发布时间 ...
策略类型 策略描述 系统策略 使用 系统策略 时,需授权用户 AliyunFCFullAccess、AliyunFCReadOnlyAccess 及 AliyunFCInvocationAccess 权限策略。自定义策略 使用 函数计算,自定义策略 常见授权如下:fc:GetAsyncTask fc:StopAsyncTask ...
本文以使用MaxCompute数据源,在DataWorks上运行MaxCompute作业任务为例,为您介绍开发人员如何使用数据开发(DataStudio)创建一个周期调度任务,帮助您快速了解数据开发(DataStudio)模块的基本使用。前提条件 已完成开发前的环境准备,...
Data Studio新版数据开发支持将个人开发环境制作成镜像,以供数据开发与其他个人开发环境使用。本文将介绍如何在个人开发环境制作个人开发实例镜像。背景介绍 在个人开发环境开发测试时,若您想要使用不同的三方依赖,您不仅可以在个人开发...
单击左边侧边栏的 图标,单击 更多 系统管理,进入 系统管理 页面,设置StarRocks类的查询资源组为任务使用的资源组。回到SQL查询页面,在右上角切换引擎类型为StarRocks,并选择数据源,即可编辑查询语句并运行,进行EMR Serverless ...
系统角色为管理员、DBA或资源角色为数据库Owner。查看角色操作,请参见 查看系统角色 和 查看资源角色。配置逻辑库 登录 数据管理DMS 5.0。单击控制台左上角的 图标,选择 全部功能 数据资产 全局搜索。说明 若您使用的是非极简模式的控制...