表类型 相关文档 MaxCompute 创建并使用MaxCompute表 AnalyticDB for PostgreSQL 创建AnalyticDB for PostgreSQL表 EMR 创建EMR表 创建Hologres内部表 创建Hologres内部表 创建Hologres外部表 创建Hologres外部表 在表管理界面查询表数据时...
数据管理 权限点 项目所有者 空间管理员 数据分析师 开发 运维 部署 访客 安全管理员 模型设计师 数据治理管理员 自己创建的表删除 自己创建的表类目设置 自己收藏的表查看 新建表 自己创建的表取消隐藏 自己创建的表结构变更 自己创建的表...
已预内置了该属性，例如：label checkbox aria-labelledby="content"value="{{checked}}"/text id="content"复选框内容/text/label 若使用自定义组件开发的 checkbox、switch 等组件，需要使用 aria-checked 属性，才能使读屏软件获取组件...
绑定后，在不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：...
DataWorks提供的权限校验、自动补全代码、内置代码模板等功能，帮助您快速校验当前账号对于目标表的操作权限并引导授权，同时根据输入的关键词，智能推荐相关代码或内置代码模板，快速创建代码任务，提升代码开发效率。本文为您介绍编辑器...
说明 DataWorks的工作空间分为 简单模式 和 标准模式：简单模式：指一个DataWorks工作空间对应一个引擎项目，无法设置开发和生产环境，只能进行简单的数据开发，无法对数据开发流程以及表权限进行严格控制。标准模式：指一个DataWorks工作...
当项目用户具备查询E-MapReduce项目中的某些敏感数据权限，担忧不希望用户能看到完整的敏感数据信息时，可以对查询结果进行数据动态...在节点查询 onefall_test_dsg 表，即可查看在数据开发页面该表的脱敏展示。SELECT*FROM onefall_test_dsg;
注意事项 建表策略管理：在DataWorks智能数据建模开启建表策略的工作空间（包含建模空间及其纳管的所有研发空间）下，使用数据开发（DataStudio）新建表或修改表时，如不符合所配置的建表策略，则创建的表执行提交、发布操作时会受阻。...
开发环境的MaxCompute引擎权限：空间级预设角色默认有部分开发环境的MaxCompute引擎权限，即空间级预设角色的用户可直接访问开发环境下MaxCompute表。生产环境的MaxCompute引擎权限：空间级预设角色没有生产环境的MaxCompute引擎权限，如果...
角色 模块展示 空间管理员 项目所有者 安全管理员 模型设计师 开发 运维 数据开发（周期调度）数据开发（手动触发）表管理 临时查询 运行历史 回收站 发布任务 运维中心 说明 安全管理员、模型设计师、运维 角色在DataStudio界面只有只读...
经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置（Transform）及加载（Load））处理是在MaxCompute中进行的，处理完成后会同步到所有存储...
项目模式选择 标准模式是指一个DataWorks项目对应两个MaxCompute项目，可设置开发和生产双环境，提升代码开发规范，并能够对表权限进行严格控制，禁止随意操作生产环境的表，保证生产表的数据安全。当您在DataWorks建立项目时，建议您使用...
DATE'2023-10-06',DATE'2023-10-06','创建')任务开发：拉链表的实现 创建ODPS SQL节点：dwd_order，用于产出交易下单事实明细表数据。节点间的依赖关系，如下图所示：dwd_order 表数据：交易下单事实明细表（拉链表），用于存放全量有效...
例如下订单这一业务过程中，您可以创建下订单这一明细表，用于记录下单过程可能产生实际数据字段，例如订单ID、订单创建时间、商品ID、数量、金额等。后续您可将这些明细表部署到数仓中，通过ETL将真实的数据按照明细表的定义方式进行汇总...
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
拉链表实现 DataWorks MaxCompute 数据开发 运维中心 基于DataWorks on MaxCompute实现拉链存储场景，使用DataStudio 数据开发 与 运维中心 模块，实现拉链数据加载功能，记录电商订单从开始到当前状态（创建/支付/完成）所有变化信息。...
开通购买DataWorks软件版本后，在使用DataWorks的各项服务时，不同产品服务的功能模块会根据使用量和占用的资源量进行计费。例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API...
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
本文以MaxCompute单表离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据...
在 数据开发 页面创建目标表，用于接收从Oracle迁移的数据。右键单击已创建的业务流程，选择 新建表 MaxCompute 表。在 新建表 页面，配置表的基本信息。单击表编辑页面上方的 DDL 模式。在 DDL 对话框，输入建表语句，单击 生成表结构。...
魔笔为用户提供了一套标准的集成发布流程以及可供开发测试、正式部署的隔离环境，为魔笔应用部署提供了开箱即用的上云体验。环境 环境代表魔笔应用实际运行的物理环境，涵盖 ECS、VPC 等软件运行的基础设施，是魔笔应用运行时所需基础设施...
用户点击“查看清单详情“，会弹出一个对话框：在弹出的对话框中可以看到一个“导出产品清单Excel“的按钮，见下图：用户可以选择希望导出的产品，并按“导出产品清单“，然后可以导出为EXCEL格式的报价单，格式见下图：
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
创建EMR表 创建AnalyticDB for PostgreSQL表 查看及管理表：查看公共表 管理外部表 表管理操作 步骤三：新建并上传资源（可选）DataWorks支持将文本文件、JAR压缩包等，作为不同类型的资源上传至指定计算引擎，在开发过程中读取使用。...
单表增量实时同步 数据开发：拖拽式配置单表到单表ETL同步，支持数据过滤、字符串替换、数据脱敏等数据处理功能。数据集成：向导化配置单表到单表ETL同步，除了丰富的数据处理功能外，还支持数据采样、模拟运行、高级参数等高级功能。分库...
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
本篇为您介绍阿里云自动驾驶云开发平台整体架构。阿里云自动驾驶云开发平台由上层工具链和开放平台原子能力构成。开放平台供应数据、仿真、车云协同采集等在云端自动驾驶研发体系需要的原子能力：工具链产品提供自动驾驶云上数据处理、云...
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
本文为您介绍如何创建AnalyticDB for PostgreSQL表。前提条件 请根据业务需求新增 Serverless资源组（推荐）或 独享调度资源组。已 绑定AnalyticDB for PostgreSQL计算资源 至数据开发（DataStudio）。说明 完成连通性测试，才可以创建...
发布并物化模型 维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中，用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。发布模型。模型创建完成后...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
文件提交前置事件 文件发布前置事件 代码运行前置事件 表变更事件 表提交到生产前置事件 表提交到开发前置事件 数据集成 节点变更事件 开启任务 您可通过 CallbackExtension 接口将事件处理结果回调至DataWorks。批量开启任务 运维中心 ...
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
开发人员根据需求将代码发布上线后，还需要及时处理数据、程序、调度、监控告警等的异常事件，保障数据产出时效、程序高效运行和生产稳定性。背景信息 数据开发人员主要需要处理以下事项：程序异常处理、性能优化。调度异常处理。数据质量...
表 表 EstablishRelationTableToBusiness 导入表至业务流程 相当于在数据开发页面右键单击业务流程，选择导入表的操作。数据集成 API 标题 API概述 同步任务 同步任务 CreateDIJob 创建数据集成同步任务 创建数据集成新版任务。UpdateDIJob...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
表变更 表提交到开发前置事件 不支持 支持 表提交扩展点事件：例如在表管理中提交某个表。表提交到生产前置事件 不支持 支持 表发布扩展点事件：例如在表管理中发布某个表。说明 仅标准模式工作空间支持在表管理中发布表，因此表发布扩展点...
面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute项目所有表的读写权限，可随意对表进行增加、删除和修改等操作，存在数据安全风险。流程相对复杂，一般情况下无法一人完成所有数据开发、生产流程。说明 关于简单模式与标准模式...
本示例以标准模式工作空间为例，且仅在开发环境调试，所以仅需在开发环境对应的MaxCompute项目下创建 bank_data 表，若您使用的是简单模式工作空间，则只需在生产环境对应的MaxCompute项目下创建 bank_data 表即可。单击表目录右侧的 按钮...