二、新建MaxCompute项目 DataWorks标准工作空间下，需绑定开发和生产两个MaxCompute项目，作为DataWorks开发环境下的计算资源以及生产环境下的计算资源。进入 MaxCompute工作台，单击左侧菜单进入 管理配置 项目管理 页面。单击 新建项目，...
DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开发。运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。核心技术与架构 高效...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析，并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体...
您需先通过创建SSH数据源远程访问您的SSH服务器，才可在SSH节点中进行SSH任务的开发和周期性调度。创建数据源，请参见 SSH数据源。说明 SSH节点仅支持使用JDBC连接串方式创建的SSH数据源。同时，为避免任务运行失败，请确保数据源与资源组...
DataWorks的MySQL节点可进行MySQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MySQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此...
2024-12-19 所有地域 使用新版数据开发（Data Studio）的用户 ADB Spark SQL节点 数据开发新增节点 数据开发新增ADB Spark节点，该节点可进行AnalyticDB Spark任务的开发和周期性调度，以及与其他作业的集成操作。2024-12-19 所有地域 使用...
您可在DataWorks中注册CDH及CDP集群，基于业务需求进行相关任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理操作。使用限制 仅支持使用Serverless资源组（推荐）或旧版独享调度资源组运行CDH或CDP集群任务。说明...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
开发 该角色负责数据开发和维护工作，即在 数据开发 模块进行节点的开发与维护。说明 如果需要进行数据开发，您需要授予RAM用户开发或空间管理员角色权限。如果需要拥有发布权限，您需要授予RAM用户运维或空间管理员角色权限。运维 该角色...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
2024年01月 Web可视化开发和移动可视化开发 功能名称 功能描述 发布时间 相关文档 组件交互 动作执行模式默认 同时执行，新增 按顺序执行。2024-01-29 交互配置 2023年12月 项目管理 功能名称 功能描述 发布时间 相关文档 关联设备 支持一...
说明 上述说明在DataWorks上的具体体现为，管理员角色和开发角色的成员，有DataWorks上大部分功能权限，有DataWorks开发环境(MaxCompute引擎开发项目）所有权限，但默认没有生产环境（MaxCompute生产项目）的操作权限。如果子账号需要在...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
个人目录是为每位开发者提供的私有存储与开发空间，用于代码的管理和调试。您可以在此目录中创建和维护个人代码。个人目录说明 个人目录下的文件分为两类：我的文件和本地文件。以下为这两种文件类型的介绍：目录类型 存储目录 存储提供方 ...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。（可选）配置高级参数 您可在节点 高级设置 处配置特有属性参数。更多属性参数设置，请参考 Spark Configuration。不同类型EMR集群可配置的高级参数存在部分...
当您需要为新的数据项目启动开发工作时，面临着如何隔离代码、资源和团队成员，以避免项目混乱和安全风险的挑战。DataWorks 工作空间正是为此设计的解决方案。它通过提供一个独立的、项目制的容器，让您能够结构化地管理开发任务、计算资源...
在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
人工智能平台PAI的 可视化建模Designer，用于实现端到端的机器学习开发流程的可视化建模工具。DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 ...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。执行SQL任务 在工具栏单击 图标，在 参数 对话框选择已创建的调度资源组，单击 运行。说明 访问公共网络或VPC网络环境的计算资源需要使用与计算资源测试连通...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。单击工具栏的 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如您希望在开发环境进行冒烟测试，查看调度...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。Spark集群：EMR on ACK 高级参数 配置说明 FLOW_SKIP_SQL_ANALYZE SQL语句执行方式。取值如下：true：表示每次执行多条SQL语句。false（默认值）：表示每次...
敏捷研发历史 敏捷软件开发的实践最早出现在上世纪 90 年代。当时，一批轻量的软件工程方法和框架相继诞生，它们共同的特点是，相对传统软件工程，都遵循演进和迭代的模型，过程更加轻量灵活。其中 Scrum 和极限编程(ExtremeProgramming）...
一个DataWorks工作空间对应两个数据源，可以将开发和生产环境的数据源隔离。说明 您需要分别为开发环境和生产环境创建物理隔离的数据源，才可以实现开发与生产环境隔离。对应DataWorks的环境 一个数据源为DataWorks的生产环境。两个数据源...
函数 支持通过使用资源来创建MaxCompute、EMR、CDH和Flink函数，这些函数可在 数据开发 和 SQL查询 中使用。功能入口 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作 列的 快速进入 Data Studio，...
删除场景 操作影响 删除【开发】和【生产】两个环境•生产任务将彻底失败，无法运行。在开发环境配置新任务时，该数据源不可见。仅【开发】环境•生产任务可正常运行。但编辑该任务时，无法获取元数据（如表结构）。在开发环境配置新任务时...
详情请参考 数据源开发和生产环境隔离。调度参数 调度参数是DataWorks在调度场景下支持自动根据业务时间替换为具体值的参数，节点中使用调度参数后，在调度场景下，可以实现将对应业务时间的业务数据动态写入对应的时间分区中。详情请参见 ...
扩展程序参数配置 DataWorks支持在扩展程序开发过程中使用参数来提高扩展程序开发和应用效率，在扩展程序代码开发时，将需要应用的参数添加至此处即可。您可直接使用DataWorks提供的典型应用场景的内置参数，也可自定义参数。支持添加多个...
计算资源和数据源关系 DataWorks 支持多种计算资源 的绑定与使用，绑定完成后，您可直接在DataWorks数据开发开展复杂数据处理及周期性调度任务开发。同时，大部分计算资源绑定至DataWorks后，将自动创建同名 数据源，您也可通过数据集成...
扩展程序参数配置 DataWorks支持在扩展程序开发过程中使用参数来提高扩展程序开发和应用效率，在扩展程序代码开发时，将需要应用的参数添加至此处即可。您可直接使用DataWorks提供的典型应用场景的内置参数，也可自定义参数。支持添加多个...
强大的本地开发功能 通过配套的组件本地开发工具（material-cli），支持实时开发和编译组件，并将其上传到组件开发工作台。在组件开发工作台支持实时预览组件效果，或模拟线上环境预览组件效果。组件管理功能 组件开发工作台提供了组件管理...
如何恢复已下线节点 报错：请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错：节点存在子节点，导致任务删除或下线失败 如何下线节点 如果您使用的是标准模式工作空间，则开发环境和生产环境隔离，在DataWorks的...
解决方案：确认待下线任务的下游依赖：您可前往开发环境运维中心和生产环境运维中心的周期任务界面，分别确认该任务开发环境和生产环境是否存在下游依赖关系。详情请参见 查看周期任务DAG图。移除待下线任务的下游依赖：进入下游依赖任务的...
迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。...隔离开发环境和生产环境 当开发环境和生产环境的网络完全隔离后，您可以通过迁移助手，导出开发环境中已完成开发的任务至生产环境。
迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。...隔离开发环境和生产环境 当开发环境和生产环境的网络完全隔离后，您可以通过迁移助手，将开发环境中已完成开发的任务导出至生产环境。
公有云答疑小助手：公有云答疑小助手是 mPaaS 研发团队提供的钉钉群答疑机器人，它不仅可以帮助开发者快速了解、接入 mPaaS 框架，还可以协助排查使用 mPaaS 框架过程中出现的常见问题，提高开发效率。mPaaS 插件：是一个具有图形化界面的...
本文的视频中介绍了 mPaaS 小程序以及在 Android 和 iOS 开发过程中如何接入 mPaaS 小程序。mPaaS 小程序介绍 在 Android 开发中接入 mPaaS 小程序并实现启动 在 iOS 开发中接入 mPaaS 小程序并实现启动
操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的区别，包括不同工作空间模式的物理形态、开发流程等差异，详情请参见 必读：简单模式和标准模式的区别。了解创建数据源并绑定至数据开发的相关内容，...
本文介绍了针对不同的开发进度和场景，建议使用的接入方式。三种接入方式 根据 iOS 开发工程的进展和使用场景，接入移动开发平台 mPaaS 的方式主要有以下三种：当前无工程，从头开始创建一个全新的工程：基于 mPaaS 框架接入。当前已有工程...