数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
解决方案 存在的问题 流式构建T+1时刻的增量数据表，和离线表的T时刻分区数据做合并，生成离线表T+1分区。存储资源浪费。保存离线的基础表，每个业务时刻的增量数据独立保存，在查询数据时合并基础表和增量表。查询性能差。其中按T保留全量...
完成所有数据表的元数据采样后，单击的 确定。在 Result 页面，即可查看 调试结果。手动上传数据（本地调试方式）采集线上数据（Session集群调试方式）离线模式调试 在 调试配置 对话框的 选择采样模式 页签中，选择 离线模式-FLINK Batch...
完成所有数据表的元数据采样后，单击的 确定。在 Result 页面，即可查看 调试结果。手动上传数据（本地调试方式）离线模式调试 在 调试配置 对话框的 选择采样模式 页签中，选择 离线模式-FLINK Batch任务。单击 下一步。在调试配置对话框...
支持的同步类型 单表离线 数据去向为OSS或OSS-HDFS时，支持的数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：数据集成侧同步任务配置 单表实时 数据去向为OSS或OSS-HDFS时，支持的数据来源：Kafka、LogHub 配置指导：数据...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Kafka 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：MySQL 配置指导：数据集成侧同步...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Hologres、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：Hologres 配置指导：数据集成侧同步任务配置 整库实时 支持数据来源：MySQL、PostgreSQL 配置指导：...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Hologres 配置指导：数据集成侧同步任务配置 整库实时 支持数据来源：MySQL、Oracle、...
支持的同步类型 单表离线 支持数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：离线同步任务配置 单表实时 支持数据来源：DataHub、Kafka、LogHub 配置指导：数据集成侧同步任务配置 整库离线 支持数据来源：Amazon ...
逻辑数仓一键生成报表 数据灾备 优化 PolarDB MySQL版 库表恢复支持百万级海量表能力，突破原有5万表数量上限，满足误删数据的快速恢复、SaaS海量库表要求。库表恢复 08月 功能名称 变更类型 功能描述 相关文档 数据归档至专属存储 新增 ...
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用说明 标签对象的使用和读数据表类似，可以做为模型的数据源直接拖拽到画布中使用，在算子详情中可以查看对应标签对象的数据表信息及已上线的标签（可以...
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
如果事实逻辑表中没有定义主键，则度量字段支持从来源主表及其他数据表中选取。在上述创建的事实逻辑表的配置页面，单击 从建表语句引入。在 从建表语句引入 对话框，填写建表语句并单击 解析SQL。在字段列表中选择您需要的字段，并单击 ...
如果事实逻辑表中没有定义主键，则度量字段支持从来源主表及其他数据表中选取。在上述创建的事实逻辑表的配置页面，单击 从建表语句引入。在 从建表语句引入 对话框，填写建表语句并单击 解析SQL。在字段列表中选择您需要的字段，并单击 ...
可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工方式不同，创建过程不同。描述说明如下：创建方式 ...
可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工方式不同，创建过程不同。描述说明如下：创建方式 ...
本文以将Kafka单表离线同步至MaxCompute为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且记录带有正确...
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
数据表 创建数据表 创建完成数据库后，单击 数据表 页签，选择目标 数据目录 和 库名，单击 新建数据表。配置以下数据表信息，单击 确定。配置项 描述 数据表名称 输入数据表的名称。所属数据目录 选择所属数据目录。所属数据库 选择数据...
本文介绍如何进行我的数据表资产授权管理。前提条件 使用工作组管理员账号登录。已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）...
为防止对数据表的误操作，Dataphin支持将您删除后的数据表存留在回收站30天。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。查看回收站列表 在Dataphin首页，在顶部菜单栏选择 治理 资源治理。...
为防止对数据表的误操作，Dataphin支持将您删除后的数据表存留在回收站30天。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。查看回收站列表 在Dataphin首页，在顶部菜单栏选择 治理 资源治理。...
本文介绍如何查看我的数据表资产。前提条件 使用租户一般用户账号登录。已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧...
本文介绍如何申请已公开的数据表资产。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。使用租户一般用户登录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在...
本文介绍如何查找已公开的数据表。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，单击 资产目录 在...
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、数据服务API资产。支持特定角色对数据表、数据服务API等数据资产进行管理。工作组管理...
本文为您介绍数据湖构建中Object数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。...
本文为您介绍数据湖构建中Lance数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。配置...
通过我的资产清晰掌握可使用、可管理、已授权的数据表和数据服务API数据资产相关信息。通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据...
数据表权限详情 在数据表权限页面，单击 已生效、已失效、申请记录 页签，查看不同状态的数据表权限详情。已生效数据表权限 为您展示数据对象的名称、表类型、所属板块/项目/数据源、权限最近到期日期、权限账号、权限类型信息。您可以根据...
本文介绍如何在数据表资产管理中，查看已物理化的数据表。前提条件 已将数据模型“dws_ren_kh_demo_di（银行客户信息）”，物理化到“dataq_odps_dev”云计算资源，具体操作，请参见 物理化逻辑表。操作步骤 登录 数据资源平台控制台。在...
资产搜索：选择需要搜索的资产，例如数据表，在 资产搜索 文本框中输入数据表的资产名称，单击 图标，跳转到资产目录展示相应的数据表。说明 支持数据表、指标、标签和API资产搜索。数据资产总量统计：总资产统计：展示资产总量和今日新增...
数据表权限详情 在数据表权限页面，单击 已生效、已失效、申请记录 页签，查看不同状态的数据表权限详情。已生效数据表权限 为您展示数据对象的名称、表类型、所属板块/项目/数据源、权限最近到期日期、权限账号、权限类型信息。您可以根据...
数据表 API 标题 API概述 GetTableCompaction 获取表合并信息 查看表Compaction详情 GetTable 获取数据表详情 获取数据湖中数据表的详细信息。CreateTable 新增数据表 创建数据湖的数据表。AlterTable 更新数据表信息 根据名称更新数据湖中...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
创建数据表 创建完成数据库后，单击 数据表 页签，选择目标 数据目录 和 库名，单击 新建数据表。配置以下数据表信息，单击 确定。数据表名称：输入数据表的名称。所属数据目录：选择所属数据目录。所属数据库：选择数据目录下的数据库。...