本文将以 ods_user_info_d_starrocks 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_starrocks 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
支持的数据库类型：介绍 数据灾备 支持备份恢复的数据库引擎版本、数据库对象、备份恢复的细粒度及 数据灾备 各功能模块的支持情况。名词解释：介绍 数据灾备 中的专业名词。逻辑备份、物理备份与快照：介绍逻辑备份、物理备份与快照的区别...
包含 增量数据采集 模块的数据同步实例。目标库的 数据库类型 为 PolarDB for MySQL 或 AnalyticDB MySQL 3.0。说明 暂不支持AnalyticDB MySQL 3.0企业版。DTS实例出现库表异常，且 增量写入 模块出现一键修正界面。注意事项 此功能正在...
本文将以 ods_user_info_d_emr 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。您可以参考...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
本文将以 ods_user_info_d_spark 表为例，演示如何通过数据质量模块的强/弱规则配置（表行数非0强校验和业务主键唯一性弱校验），在每日调度任务中实时拦截源数据缺失或主键重复异常，从而保障用户信息同步作业的下游计算可靠性。...
工作组若有创建数据标准、数据源和全局变量，不区分创建方式，默认拉取这3个模块的全量数据导入导出。关联项说明 关联项 说明 场景节点 对应生产场景包含的场景节点。说明 需在数据开发模块创建场景节点，且该场景节点被场景引用。场景 ...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
DataWorks全新推出Serverless资源组，...数据开发：当使用数据开发（Data Studio）进行任务开发时，将在数据开发、数据质量、运维中心功能模块运行数据计算任务和调度任务，进而消耗Serverless资源组产生 数据计算类费用 和 任务实例调度费用 ...
根据时间轴的特性，如果您需要时间轴变化的同时，等值面的数据也发生变化，那么可以开发一个接口或者数据库，能根据时间参数来获取不同时间段的全国各个监测站点的数据。本文档为您介绍如何使用Node.js完成接口的开发和发布（您也可以使用...
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
在 功能导航 模块单击 数据集，进入数据集管理页面。新建数据集 在数据集管理页面中，单击 新建数据集，进入创建页面。在 创建数据集 页面内，输入 数据集名称 信息，选择一种创建方式，可选 数据源导入 或 本地上传。数据源导入：选择 ...
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
通过以下方式构建报表或大屏：数据分析:在数据分析模块将数据源连接到Hologres，通过SQL查询或者数据洞察生成卡片，并将卡片组合成报告，配置报告动态更新，从而构建数据动态更新的报表。数据服务：生成数据源类型为Hologres的API，并将...
增值模块 特指 数据建模。数据建模支持维度建模，您可在此完成数仓规划设计、制定并沉淀企业数据标准、维度建模、定义数据指标，以此来构建数据仓库。智能数据建模计费 二、资源组费用 资源组费用是在DataWorks上执行任务（如数据同步、...
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量...后续操作 数据加工完成后，您可以通过数据分析模块对数据进行可视化展示，详情请参见 数据可视化展现。
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
为保障任务产出的表数据符合预期，您可以对任务产出表数据进行数据质量监控。本文为您介绍如何配置表dwd_log_info_di_emr的数据质量...后续操作 数据加工完成后，您可以通过数据分析模块对数据进行可视化展示，详情请参见 数据可视化展现。
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
业务分类、数据域与数据集市构成业务驱动的管理框架，通过划分数据归属领域（业务分类）、定义核心业务活动（数据域）、组织场景化数据服务（数据集市），实现从数据生产到消费的价值闭环。本文介绍 业务分类、数据域、业务过程、数据集市 ...
已在数据标准模块中创建质量校验函数、数据字典和数据元。已在质量评估模块中创建质量检查计划任务。背景信息 将数据建模中创建的数据表进行编目及公开后，可在数据资产中心查看资产详情。操作步骤 登录 数据资源平台控制台。在页面左上角...
同时您可以单击 数据源 后的 新建，进入规划模块添加数据源，详情请参见 创建OSS数据源。Object前缀 OSS的Object信息，此处可以支持填写多个Object。例如某个OSS的bucket中有data文件夹，文件夹中有phin.txt文件，则Object直接填 data/phin...
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
同时您可以单击 数据源 后的 新建，进入规划模块添加数据源，详情请参见 创建OSS数据源。Object前缀 OSS的Object信息，此处可以支持填写多个Object。例如某个OSS的bucket中有data文件夹，文件夹中包含phin.txt文件，若同步 具体的文件，则...
在数据查询与分析管控页面，您可执行如下操作：授权某成员或角色在数据分析模块拥有指定数据源的查询权限，详情请参见 管控数据源的查询权限。对查询结果可执行的展示、复制、下载、分享等操作制定管控策略，详情请参见 管控数据分析查询...
设计数据模型：在数据建模模块中创建逻辑表，并物理化到数据库，具体操作，请参见 设计数据模型。添加数据节点：在数据开发模块中创建节点，并在物理表中插入对应数据，具体操作，请参见 新建公共节点。查询数据：在数据查询模块中预览插入...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...
在 设置数据源 模块中，选择 数据源类型 为 静态数据。将静态数据文件内容粘贴到上图的数据编辑框区域。重要 文件大小需要小于512KB。单击 查看数据返回结果，查看数据源的返回结果样式。后续步骤 获取原始数据后，可参见 组件数据源配置 ...
公开数据集列表 类型 数据集 数据来源及说明 数据类型 数字商业 阿里电商数据集 本数据集来源天池阿里移动推荐算法挑战赛，基于阿里巴巴100万条脱敏的商品数据，可以基于各类商品、操作、时间等字段，体验阿里云大数据分析能力。静态数据 ...
core client-客户端实现模块 发送请求、接收响应、连接维护、路由、负载均衡、同步异步等。core server-服务端实现模块 启动监听、接收请求，发送响应、业务线程分发等。core filter-拦截器实现模块 服务端和客户端的各种拦截器实现。core ...
项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。您开通Dataphin服务后，需要通过项目使用Dataphin。...后续步骤 创建完项目后，即可进入数据研发模块进行数据开发。更多信息，请参见 数据开发概述。
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。在 私有OSS环境准备 步骤中创建的OSS对象存储的 Bucket 将用于接收MySQL数据源的用户信息数据与...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。在 私有OSS环境准备 步骤中创建的OSS对象存储的 Bucket 将用于接收MySQL数据源的用户信息数据与...
功能介绍 发布中心由 待发布对象 和 发布记录 组成：待发布对象 页面，展示当前用户具备 发布-查看 权限的所有待发布对象，包括集成同步、规范建模和数据处理模块所提交的数据对象。您可以在待发布对象页面，发布单个或多个待发布对象至...
功能介绍 发布中心由 待发布对象 和 发布记录 组成：待发布对象 页面，展示当前用户具备 发布-查看 权限的所有待发布对象，包括集成同步、规范建模和数据处理模块所提交的数据对象。您可以在待发布对象页面，发布单个或多个待发布对象至...