赋值节点应用 DataWorks MaxCompute 数据开发 DataStudio 数据开发 模块的赋值节点支持ODPS SQL、Shell和Python三种赋值语言，通过赋值节点实现将上游节点任务的查询或输出结果提供给下游节点使用。案例配套文档：赋值节点。注意事项 案例...
无论是单表或整库同步，还是离线或实时同步，都需要预先配置好来源和去向数据源。一个配置完整、网络通畅的数据源，是任务能够成功执行的前提。支持的数据源类型 DataWorks数据集成目前支持的数据源可参考 支持的数据源及同步方案。数据...
表层级 用于将不同用途的数据，归类划分至不同层级，更好地组织、管理、维护数据。同时，可基于业务的使用视角，对表进行更详细的分类。已添加数据源并绑定到数据开发，以及采集相关引擎数据。用于通过引擎元数据快速查找目标表。相关操作...
配置项 配置内容 gender email phone 敏感字段类型 gender email phone 脱敏规则名称 gender email phone 所属脱敏场景 开发展示、SQL分析 开发展示、SQL分析 开发展示、SQL分析 脱敏方式 字符替换 替换位置 替换全部 替换方式 随机替换 ...
DataWorks 提供一站式大数据开发与治理平台，涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力，支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成：全领域数据汇聚 DataWorks的数据...
以下是对这三种类型目录的对比，您可以根据具体需求选择合适的目录进行开发。目录类型 权限范围 功能特性 适用场景 项目目录 工作空间级 支持基于该目录进行团队开发协作 支持创建周期性调度任务（节点/工作流）该目录下的节点归属于工作...
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
字典编码可将字符串的比较转为数字的比较，加速group by、filter等查询。位图列：即比特编码列，可对存储文件内部数据进行快速等值过滤。因此，建议您将等值filter条件的数据构建为比特编码。更多存储方式的详细介绍，请参见 CREATE TABLE...
Data Studio支持可视化创建并管理CDH Jar和File资源，创建的资源可用于创建自定义函数或在数据开发。本文将介绍如何通过资源管理来创建CDH不同类型的资源和函数。前提条件 已 注册CDH集群至DataWorks，创建资源与函数均基于Flink计算资源...
连接信息：已准备好待连接数据源的必要信息，例如实例或连接地址（Endpoint/JDBC URL）、端口、数据库名、用户名和密码等。网络连通性：必须确保DataWorks 资源组管理 的网络可访问您的数据源；如果您的数据源通过公网访问，且您使用的是 ...
DataWorks支持 周期调度 与 触发式调度 两种工作流调度类型。与按固定时间运行的周期工作流不同，触发式工作流是一种按需执行的模式，由手动、API调用、事件消息等外部信号所触发，为数据处理提供了更高的实时性和灵活性。功能介绍 ...
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
如图中 数据集成 模块的输入箭头所示，数据集成任务的源端（Source）和目标端（Sink）都依赖于预先在工作空间中配置好的数据源。自定义镜像：定义：一个包含特定操作系统、运行时环境和第三方库的打包环境。关系：按需绑定。如图左侧所示，...
钉钉小程序：钉钉小程序是一种全新的开发模式，并支持iOS、安卓等多端部署。其他集成方式：移动应用集成到微信公众号的具体操作，请参见 自定义菜单。移动应用集成到微信小程序的具体操作，请参见 小程序开发指南。使用说明 支付宝小程序和...
当您的团队需要在DataWorks中进行协同开发时，面临着项目隔离、权限分配和计算资源管理的挑战。工作空间正是解决这些问题的核心单元，它通过提供一个独立的环境，让您能够清晰地组织开发任务、分配成员角色并绑定所需的计算引擎，从而确保...
标准模式：指一个DataWorks工作空间对应两个引擎项目，可以设置开发和生产两种环境，提升代码开发规范，并能够对表权限进行严格控制，禁止随意操作生产环境的表，保证生产表的数据安全。详情请参见 必读：简单模式和标准模式的区别。空间...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式的工作空间下，任务开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示，在通用流程的关键节点，例如...
背景信息 DataWorks的工作空间分为 标准模式和简单模式，不同模式工作空间下任务的开发流程存在一定差异，两种模式的数据开发流程示意如下。标准模式工作空间开发流程 简单模式工作空间开发流程 如上图所示，在通用流程的关键节点，例如，...
逻辑开发核心概念 事件 事件是应用开发中常见的一种通知机制，可在用户执行特定操作或者系统状态发生变化时通知应用。开发者通过创建和定义一系列事件处理器，响应和处理特定事件，从而实现事件驱动的业务逻辑。表达式 表达式是一种用于...
三种接入方式 根据 iOS 开发工程的进展和使用场景，接入移动开发平台 mPaaS 的方式主要有以下三种：当前无工程，从头开始创建一个全新的工程：基于 mPaaS 框架接入。当前已有工程，所有 SDK 直接链接到此工程中：基于已有工程且使用 mPaaS ...
开发小助手提供的功能可分为四大类：LOG 日志类、TOOL 工具类、UI 界面类和 OTHER 其他类。LOG 日志类 日志类包含 闪退、沙盒浏览 和 日志 三个功能。闪退 闪退功能支持快速查看闪退日志。沙盒浏览 沙盒浏览功能支持查看 App 的所有文件。...
创建资源 Flink资源 支持本地上传，创建好的资源可直接在数据开发中引用，也可以创建为函数使用。在资源管理页面，创建资源打开 新建资源和函数 弹窗时，配置资源的 类型、存储的 路径 以及资源 名称。完成新建资源后，需要在资源内 上传...
MaxCompute项目名称 选择需要绑定的MaxCompute项目，本教程分别为生产环境和开发环境绑定 步骤二 中已创建好的对应MaxCompute项目。默认访问身份 定义在当前工作空间下，用什么身份访问该MaxCompute项目。开发环境：当前仅支持使用 执行者 ...
参数 说明 MaxCompute项目 选择需要绑定的MaxCompute项目，本教程分别为生产环境和开发环境绑定 步骤二 中已创建好的对应MaxCompute项目。默认访问身份 定义在当前工作空间下，用什么身份访问该MaxCompute项目。开发环境：当前仅支持使用 ...
mPaaS Android 60 基线提供了多套开发环境间切换的能力，能够帮助开发者在多套开发环境间（如：开发 DEV/测试 TEST/体验 UAT/线上 PROD）方便自如地进行切换。涉及 mPaaS 的改动 对于 mPaaS 开发者，在切换开发环境的过程中，涉及到以下...
在个人开发环境中使用数据集 当数据集定义好以后，您可以在创建个人开发环境实例时或修改已有个人开发环境实例配置时，将DataWorks数据集的存储挂载到个人开发环境实例，后续，您可以在个人目录的终端或Notebook中直接读取数据集中的数据。...
完成自定义镜像配置后，需要将镜像构建发布后，才可在 数据开发 中选择使用，以下为创建好的镜像构建发布流程：完成自定义镜像创建后，单击操作列的 发布 按钮进行测试发布。在镜像发布页面，下拉选择 测试资源组，对镜像进行测试，测试...
本文为您介绍新版数据开发的基本开发流程。前提条件 已创建DataWorks工作空间并开通新版数据开发。本指南适用于新版数据开发，如需使用，请确保您的工作空间已开通新版数据开发。开通方式如下：创建工作空间 时，选择 使用新版数据开发...
物联网应用开发（IoT Studio）是阿里云物联网平台的一部分，提供了可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具，解决了物联网开发领域开发链路长、技术栈复杂、协同成本高、方案移植困难等问题。
背景信息 根据业务种类将不同类型的资源组织在一起，即构成业务流程，能够更好地帮助您以业务为单元进行开发。每一个业务流程下均包括API、函数和服务编排三个类目，分别存放您创建的API、函数和服务编排。新建业务流程 进入 数据服务 页面...
移动开发平台（mPaaS）是源于支付宝的移动开发平台，为移动开发、测试、运营及运维提供云到端的一站式解决方案，能有效降低技术门槛、减少研发成本、提升开发效率，协助企业快速搭建稳定高质量的移动应用。
DataWorks的DRDS节点可进行DRDS任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DRDS节点进行任务开发的主要流程。背景信息 DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统，支持海量数据存储...
云原生应用开发平台（Cloud Application Platform，CAP）是阿里云提供的一站式应用开发及应用生命周期管理平台。云应用开发平台 CAP 内置丰富的 Serverless&AI 应用模板、开源的开发者工具链及企业级应用管理功能，无论您是个人开发者还是...
DataWorks的MariaDB节点可进行MariaDB任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用MariaDB节点进行任务开发的主要流程。背景信息 MariaDB是一种开源的关系型数据库管理系统（RDBMS），与MySQL高度兼容。它可以无缝...
自动驾驶云开发平台，是阿里云面向自动驾驶企业在云端供应的开发工具体系，让自动驾驶企业更高效、高性价比的利用阿里云。
魔笔是阿里云为云上开发者量身打造的 AI+低代码驱动的应用开发平台，集成了通义千问大模型，让开发更智能、应用更智能。
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...