将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
本文介绍如何查看我的数据表资产。前提条件 使用租户一般用户账号登录。已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧...
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。版本限制 仅DataWorks标准版及以上版本支持代码搜索、...
使用数据目录管理表、视图、外表、资源及函数等数据对象。MaxCompute：管理MaxCompute数据目录。Hologres：管理Hologres数据目录。DLF：管理DLF Catalog数据目录。生成查询SQL 基于数据表，快速生成查询SQL并完成配置与执行。如需了解更多...
使用配置 用于数据预览 可用于资产清单和资产目录的数据预览，当数据表已有采样数据时，优先展示采样数据，也可手动触发查询最新数据；若不存在采样数据，则会自动触发数据预览查询。针对每个字段的采样数据，系统会独立存储和排序展示，但...
DataWorks的数据对比节点可实现对不同表之间的数据进行多种方式的对比，并可在工作流中使用。本文为您介绍使用数据对比节点进行任务开发的主要流程。节点介绍 数据对比节点不仅仅用于数据集成，还支持表与表之间的对比。同时，它还支持...
开发人员使用DataWorks编辑SQL语句，创建Excel表并同步数据，交付给运营人员。如果使用维表功能，运营人员只需要在数据分析创建一张维表，可视化地修改数据并保存，即可自动同步数据至MaxCompute生产表，提高工作效率。权限说明 2022年6月1...
逻辑库在进行数据归档时，会将所有逻辑库的表都合并到一个物理表内，因此在归档视图页面中，查询任意一个逻辑表就可以查询到逻辑库中所有表的数据。Q：同一个工单内进行了多次归档，即周期归档，在进行数据查询时，可以查询指定时间段的...
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。背景...
您可以使用查看表的SQL相关语句（SELECT）查询数据库表的数据类型。示例查看 'tablename' 表数据类型的语句如下。select COLUMN_NAME,DATA_TYPE from all_tab_columns where TABLE_NAME='tablename';COLUMN_NAME：表的列名称。DATA_TYPE：...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权，可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输出组件。更多信息，...
时延洞察是云数据库 Tair（兼容 Redis）提供的升级版时延统计功能，支持记录多达 27个事件 及所有Redis命令的执行耗时，并支持保存最近3天内所有的时延统计数据。时延洞察具有如下特点：持久化：支持数据持久化，时延毛刺可追溯。高精度：...
源表DMS_ONLINE_DDL过程中是否复制临时表到目标库 无 如源库使用 数据管理DMS（Data Management）执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更...
向Unified Catalog内的表中插入数据 同StarRocks内表一致，如果您拥有Unified Catalog内表的INSERT权限，那么您可以使用INSERT将StarRocks表数据写入到该表（当前仅支持写入到Parquet格式的Unified Catalog表）。说明 您可以通过 GRANT ...
时延洞察是 云数据库 Tair（兼容 Redis）提供的升级版时延统计功能，支持记录多达 27个事件 及所有Redis命令的执行耗时，并支持保存最近3天内所有的时延统计数据。时延洞察具有如下特点：持久化：支持数据持久化，时延毛刺可追溯。高精度：...
本文为您介绍如何通过析言GBI连接 云原生数据仓库 AnalyticDB PostgreSQL 版，并使用自然语言完成数据分析。前提条件 已创建 云原生数据仓库 AnalyticDB PostgreSQL 版 实例。实例内核小版本需为V6.3.10.3及以上。如何查看内核小版本请参见...
源表DMS_ONLINE_DDL过程中是否复制临时表到目标库 无 如源库使用 数据管理DMS（Data Management）执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更...
源表DMS_ONLINE_DDL过程中是否复制临时表到目标库 如源库使用 数据管理DMS（Data Management）执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生...
源表DMS_ONLINE_DDL过程中是否复制临时表到目标库 如源库使用 数据管理DMS（Data Management）执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。是：同步Online DDL变更产生的临时表数据。说明 Online DDL变更产生...
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 在Dataphin首页顶部菜单栏，选择 研发 数据集成。在...
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 在Dataphin首页顶部菜单栏，选择 研发 数据集成。在...
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
本教程以简单的用户画像分析为例，带您了解DataWorks和EMR如何配合使用完成数据同步、数据开发和任务运维等操作。您可以通过本文了解实验背景、工作流设计、模块及实验相关数据等信息，方便顺利完成教程操作。实验设计 实验背景 为了更好地...
我的数据功能为您提供一个集中的视图，用于快速定位、查看和管理您在 DataWorks 中拥有权限或负责的数据表。您可以按项目、引擎类型筛选，并执行更新表信息、转交所有权等日常管理操作。注意事项 数据地图的部分数据是离线（T+1）更新的，...
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
不支持 认证身份与鉴权说明 数据目录是否能够正常读取数据源下的数据信息，取决于数据源添加至数据目录的方式，具体规则如下：从工作空间绑定的数据源实例添加到数据目录时，该数据目录将使用 数据源配置的身份信息 从数据源读取数据至...
主要操作流程 操作目的 维度建模 使用DataWorks的 智能数据建模 完成对业务数据仓库的模型规范制定及数据分层、数据域、业务过程等信息的设定，完成逻辑模型的设计，并将逻辑模型发布生成物理表。DataWorks智能建模会将创建的模型表发布到...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
当项目用户具备查询E-MapReduce项目中的某些敏感数据权限，担忧不希望用户能看到完整的敏感数据信息时，可以对查询结果进行数据动态脱敏。本文为您介绍如何开启E-MapReduce的动态脱敏功能，并提供参考示例。使用限制 EMR集群仅支持数据保护...
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本案例前，请确保已完成 同步数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
使用限制 TDH Inceptor输出组件支持写入文件格式为orc、parquet、text的TDH Inceptor数据表。不支持ORC格式的事务表集成。前提条件 已创建TDH Inceptor数据源。具体操作，请参见 创建TDH Inceptor数据源。进行TDH Inceptor输出组件属性配置...
DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。背景...
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据目录是数据湖构建（Data Lake Formation）或 Hive Metastore(HMS)的元数据最上层实体，可以包含若干个数据库。在EMR Serverless Spark中，您可以通过该功能来查看绑定的数据目录中的数据库和表，还可以添加已有的数据目录。该功能适用...
重要 在双副本集群中建表时，必须使用MergeTree系列引擎中支持数据复制的Replicated系列引擎。如果您在双副本集群中，创建了非Replicated系列引擎的表，将导致副本之间无法进行数据复制，从而导致副本数据可能不一致。单副本版：每个节点...