登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 维度建模。在 维度建模 页面，鼠标悬停至 图标，单击 概念...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。（可选）如果您尚未开通DataWorks智能数据建模，首次进入时请单击 立即开通。重要 DataWorks智能...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
二、搭建同步链路 单击左上方的 图标，选择 全部产品 数据开发与运维 DataStudio（数据开发）。在 数据开发 面板，右键单击 业务流程，选择 新建业务流程。在 新建业务流程 对话框中，输入 业务名称 为 workshop_emr，然后单击 新建。进入...
背景信息 使用标签管理功能前，请先了解以下相关概念：数据资产：泛指DataWorks中与数据开发、数据治理、数据分析、数据服务有关的数据实体对象。例如：表、API、节点任务、数据分析任务、质量规则、工作空间、治理优化流程等。资产标签：...
3.查看数据校验报告 数据校验报告可在任务运行日志中查看，可通过以下方式进行查看：运维中心查看：单击页面左上角 按钮，选择 全部产品 数据开发与运维 运维中心（工作流）进入运维中心。在运维中心左侧导航栏单击进入 周期任务运维 周期...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。展开目标业务流程，右键单击 数据集成，选择 新建节点 离线同步 在 新建节点 对话框中，输入 名称 ...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。单击上方导航栏内的 维度建模 进入维度建模页面，选择需要配置数据落标的表，双击表名称进入表详情...
发布模型可将逻辑模型物化为MaxCompute、Hologres等物理引擎中的物理表或视图，用于后续的数据开发与分析。限制条件 发布模型前，需满足以下条件：目标引擎：支持发布至 MaxCompute、Hologres、EMR Hive、CDH、MySQL 引擎。发布类型：发布...
场景五：临时工作流中未被选择的实例 配置触发临时工作流中未被选择的实例 单击，选择进入 全部产品 数据开发与运维 运维中心（工作流）页面。单击运维中心右侧导航栏 周期任务运维 周期任务，进入周期任务列表页面。选择需要某周期任务，...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标，单击 新建节点 数据集成 实时同步。您也可以展开业务流程，右键单击目标业务流程...
StarRocks ods_raw_log_d_starrocks col 原始日志 dt 分区字段 进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。一、设计业务流程 设计...
进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。一、设计工作流程 在 同步数据 阶段，已经成功将数据同步至MaxCompute，接下来的流程...
单击左上方的 图标，选择 全部产品 数据开发与运维 DataStudio（数据开发）。然后在页面顶部切换至本教程创建好的工作空间。在左侧导航栏单击，进入数据开发页面，然后在 项目目录 区域，单击，选择 新建工作流，设置工作流名称。本教程...
单击当前页面左上角的 图标，选中 全部产品 数据开发与运维 DataStudio（数据开发）。鼠标悬停至 图标，单击 新建 业务流程。在 新建业务流程 对话框中，输入 业务名称 和 描述。单击 新建。右键单击您所创建的业务流程，然后单击 新建节点...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。进入关系图。在智能数据建模页面，单击顶部菜单栏的 关系图，进入关系图页面。首次使用关系图的用户...
二、搭建同步链路 单击左上方的 图标，选择 全部产品 数据开发与运维 DataStudio（数据开发）。在左侧导航栏单击，在 项目目录 区域，单击，选择 新建工作流，设置工作流名称。本教程设置为 User_profile_analysis_spark。在工作流编排页面...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...
适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、大数据AI一体化开发、数据分析与主动式数据...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 部署方式 支持 集群 和 ...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 NameNode NameNode为HDFS...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 部署方式 支持 集群 和 ...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Protocol 基于FTP服务器...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Protocol 基于FTP服务器...
DataWorks的数据目录功能支持将MaxCompute中的单表数据同步到Hologres，旨在帮助您更高效地进行大数据分析与实时查询。本文将详细介绍从MaxCompute到Hologres的数据同步配置流程，让您能够轻松迁移数据并充分利用Hologres的高性能查询能力...
拉链表实现 DataWorks MaxCompute 数据开发 运维中心 基于DataWorks on MaxCompute实现拉链存储场景，使用DataStudio 数据开发 与 运维中心 模块，实现拉链数据加载功能，记录电商订单从开始到当前状态（创建/支付/完成）所有变化信息。...
大数据计算引擎与存储费用（独立计费）：DataWorks是一个大数据开发与调度平台，它本身不执行核心的计算和存储。当您通过DataWorks提交一个SQL任务时，实际执行该任务的是底层的计算引擎（如MaxCompute、Hologres、E-MapReduce等），产生的...
支持在线业务与大数据任务混合运行，降低成本。利用 ACK 弹性与 ECI，扩缩容更快。适合已建立容器化架构的企业，但不建议作为首选方案。大数据组件（如 Spark、Presto）的稳定性更多依赖用户自管。适合具备大数据组件运维知识和能力的企业...
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
现在通过DataWorks为您提供的 数据集成 数据开发 数据服务 的全链路数据研发平台，结合MaxCompute即可快速搭建企业数仓。DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过...
在左侧导航栏 产品类别 下依次打开 大数据计算 数据开发与服务，然后在右侧找到 大数据开发治理平台DataWorks 的免费试用卡片，单击 立即试用。重要 免费试用抵扣包仅适用于初次使用DataWorks产品的新用户，老客户进入此页面将展示为不符合...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本案例使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
环境信息排查 问题 解决方案 查询数据时，数据源、表、分区选择错误 DataWorks标准模式下的工作空间数据源 开发生产隔离，单表离线同步在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源。在对数据的数量和内容进行比对...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。数据服务支持的数据源请参见 数据服务数据源列表。重要 如果连通性测试...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。数据服务支持的数据源请参见 数据服务数据源列表。重要 如果连通性测试...
数据开发场景费用 进行 数据开发 与运维可能产生的费用如下：DataWorks侧收费（费用在DataWorks相关账单中）资源组费用：节点开发和个人开发环境使用依赖资源组进行。根据资源组不同，将产生 Serverless资源组费用 或 独享调度资源组费用。...
数据开发/数据地图与数据分析场景的工作空间统一管控，改变其中一个场景的工作空间脱敏启用设置，另外一个场景同步改变。Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes 查询数据时，...