在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
联动 为减少设计和开发人员之间的沟通成本、避免重复的控件开发工作和视觉设计，统一组件库（AntUI）聚合完成了开发和视觉工作。设计师制定规范，开发解释规范成为控件，完整的开发指南便于开发实现，形成一站式的控件体系。通过统一的命名...
实际开发调度任务时，不同引擎任务的配置要求存在差异，您需先了解不同引擎基于DataWorks开发的注意事项及相关说明，再根据待开发的任务类型开始数据开发工作。各引擎开发说明：DataWorks支持创建各种数据源并进行引擎开发任务，不同引擎...
例如：管理者可以在云上维护几个RAM角色，既可支持大量开发人员从本地SSO扮演角色进行开发工作，也可从操作审计日志中追踪到扮演者。调度访问身份权限较大，管理者可以将RAM角色配置为调度访问身份，有效避免人员意外登录。详情请参见 ...
实际开发调度任务时，不同引擎任务的配置要求存在差异，您需先了解不同引擎基于DataWorks开发的注意事项及相关说明，再根据待开发的任务类型开始数据开发工作。各引擎开发说明：DataWorks支持创建各种数据源并进行引擎开发任务，不同引擎...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
序号 内容 相关文档 1 DataWorks工作空间为多角色协同开发的基本单元，所有开发工作都将在具体的工作空间内开展，若您需要RAM用户（子账号）协同开发，则需将RAM用户加入工作空间并按照职能为该用户分配空间角色。DataWorks预设部分角色...
创建完成后：您可以在业务流程下的对应引擎下开始任务开发工作，可参考下文的 开发业务逻辑 了解通用的任务开发思路 任务开发完成后，您可以直接提交业务流程，将任务提交发布至生产环境，详情请参见 提交业务流程。同时您也可以在各页面对...
阶段规划 鉴于对日常数据仓库研发工作的总结与归纳，本文将数据仓库研发流程抽象为如下几点：需求阶段：数据产品经理应如何应对不断变化的业务需求。设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地...
完成以上五个步骤后，您的 DataWorks 工作空间已具备基础的开发和运行能力，可以开始进行数据集成和数据开发工作。管理控制功能概览 概览与导航 控制台左侧导航栏是所有管理功能的入口，主要包括工作空间列表、资源组列表、镜像管理、已购...
工作空间是DataWorks管理成员、进行任务开发的基本单元，DataWorks所有开发工作都将在具体的工作空间内完成。创建工作空间，请参见 创建工作空间。DataWorks上的任务开发需基于引擎操作，您可将相关引擎创建为工作空间的计算资源或注册为...
三、创建工作空间 工作空间是DataWorks中进行任务开发、成员权限管理、协同开发的基本单元，DataWorks所有开发工作都将在工作空间内进行，您可参考以下内容为本案例创建DataWorks标准模式工作空间（开发、生产环境隔离）。进入工作空间列表...
数据开发基于业务流程组织与开发代码，您需要先新建业务流程，才可进行后续的开发工作。步骤二：新建表。DataWorks支持使用可视化方式创建表，并以目录结构方式在界面展示。数据开发前，您需先在引擎创建用于接收数据清洗结果的表。步骤三...
3 使用目录树的方式对各业务流程中的节点、表、资源、函数进行管理：业务流程：业务开发的单位，用于进行具体的业务开发工作。节点：代码开发的最小单位，支持对应引擎、算法、数据集成、数据库、通用节点进行代码开发。表：使用可视化方式...
2011 FLINK_SQL_BATCH EMR EMR Hive 可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。227 EMR_HIVE EMR Impala PB级大数据的快速、实时交互式SQL查询引擎。260 EMR_IMPALA EMR MR 可以将大规模...
模型设计师设置好 数据模型设计空间 与 数据研发工作空间 的关系后，模型设计师在进行模型（汇总表、维度表、明细表、应用表）发布时，可以选择将模型物化到被关联的某一个研发空间，后续数据开发工程师即可在对应的工作空间进行数据开发...
附录：数据开发相关概念 任务开发相关 概念 描述 工作流（Workflow）一种全新的研发方式，以业务视角出发的DAG可视化开发界面，轻松管理复杂的任务工程。Workflow支持编排数十种不同类型的节点，提供数据集成、MaxCompute、Hologres、EMR、...
附录：数据开发相关概念 任务开发相关 概念 描述 工作流（Workflow）一种全新的研发方式，以业务视角出发的DAG可视化开发界面，轻松管理复杂的任务工程。Workflow支持编排数十种不同类型的节点，提供数据集成、MaxCompute、Hologres、EMR、...
车厂自主研发，需要端侧与云端工程师联合开发，工作量巨大、且效率低，不建议使用。场景灵活 作为针对智联车的基础管理平台，IoV CC可应用到不同的智联车使用场景中，例如：私人用车、商用车队、共享出行等。厂商可根据自己的使用需求，...
智能搭建（Mobile Pages Building Service，简称 MBS）是一款互联网应用页面的快速搭建工具，无需研发投入开发，零代码快速搭建页面。MBS 实现了可视化、标准化、组件化的搭建方式，提供丰富的基础组件和多个预置业务组件，同时支持使用...
教程说明 本教程假设您已完成以下准备工作：开发环境（本教程以 Windows 开发环境为例进行演示）。网络浏览器（建议使用 Chrome 浏览器）。一部安卓手机（系统版本为安卓 4.3 或更新版本）及配套的数据线。开通 mPaaS 产品。操作流程 本...
适用场景 该功能仅支持 标准模式且使用了新版数据开发 的工作空间，在同一工作空间下，将节点、函数、资源、组件等对象批量从开发环境发布至生产环境。说明 标准模式的旧版数据开发同空间批量发布流程请参见 发布任务。使用限制 权限限制 ...
若您当前使用的是简单模式工作空间，但希望将开发与生产环境隔离，可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的...
详情请参见：不存在跨工作空间依赖 存在跨工作空间依赖，未设置跨工作空间依赖映射 存在跨工作空间依赖，设置了跨工作空间依赖映射 发布MaxCompute引擎类任务，系统会修改任务代码中涉及的源工作空间名称为目标工作空间名称，详情请参见 ...
详情请参见：不存在跨工作空间依赖 存在跨工作空间依赖，未设置跨工作空间依赖映射 存在跨工作空间依赖，设置了跨工作空间依赖映射 发布MaxCompute引擎类任务，系统会修改任务代码中涉及的源工作空间名称为目标工作空间名称，详情请参见 ...
Kafka触发器 参数 配置说明 适用工作空间 选择可使用该触发器的工作空间，仅支持新版数据开发的工作空间。适用环境 触发器只适用于生产环境，在开发环境运行时，需手动填写参数。责任人 下拉配置触发器的责任人。触发器类型 选择 云消息...
工作流：工作流是一种数据处理流程自动化管理工具，提供的可视化画板功能支持以可视化拖拽方式整合多种类型的子任务节点，轻松建立任务间的依赖关系，加速数据处理流程的搭建，有效提升任务开发效率。详情请参见 周期工作流。节点编排。...
项目开发阶段：通过调试提示词与工作流，安装模型与插件，生成实现预期效果的图片或视频。API调用阶段：项目开发阶段通过安装模型、插件和依赖，搭建好出图环境。API调用阶段基于出图环境运行工作流，通过Serverless API弹性高效出图。优势...
开发周期工作流 您可通过以下步骤完成工作流的开发，也可参考 附录：工作流引用，完成工作流之间的引用和工作流与内部节点的参数透传。进入内部节点编辑页。在业务流程看板中，将鼠标移动到目标节点，单击 打开节点，进入工作流内部节点的...
环境限制 源工作空间跨云发布到目标工作空间时，环境限制如下：源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据开发 不...
标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示，在通用流程的关键节点，例如，任务运行调试前、任务发布到开发环境前、任务发布到生产环境前，您可以进行流程管控。流程节点 校验示例 任务运行前 任务发布到开发环境前 ...
DataWorks在原有任务级别调度参数基础上，新增工作空间级别的调度参数，如果同一个工作空间中的多个参数需配置为相同值，可以使用工作空间参数。工作空间参数可配置为脱敏展示，以保护您的敏感数据；同时，在标准模式工作空间下，生产环境...
权限点 项目所有者 空间管理员 数据分析师 开发 运维 部署 访客 安全管理员 模型设计师 数据治理管理员 运行/停止工作流 保存工作流 查看工作流内容 提交节点代码 修改工作流 查看工作流列表 修改owner属性 打开节点代码 删除工作流 创建...
背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示，在通用流程的关键节点，例如，...
2023年10月 功能名称 变更类型 功能描述 相关文档 功能升级与名称变更 优化 产品功能升级，提供更通用的工作流编排逻辑能力、提供更丰富的生态集成方案以及Spec YAML语法升级，工作流开发体验更加便捷。产品升级公告 升级前后版本差异及...
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户，拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限，但默认无生产权限，本文为您介绍预设角色权限基本情况、MaxCompute权限...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
添加用户至 DataWorks 工作空间的预设角色时，会同步在该工作空间开发环境的 MaxCompute 项目中添加项目角色成员。详情请参见：空间级预设角色与 MaxCompute 引擎权限的映射关系。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前，您需要先在EMR中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...