在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
前提条件 已编目表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏单击 资产管理，在左侧导航栏选择 系统资产管理＞数据表...
全域数据表：根据数据源类型、数据源、DB/Schema筛选数据表，支持的数据源请参见 Dataphin支持的数据源，若数据源和Dataphin集群无法连通，则需要先进行元数据采集才能配置质量监控规则，支持的数据源请参见 创建及管理元数据采集任务。...
本文介绍如何查看已公开的数据表资产详情。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，选择 ...
本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
全域数据表：根据数据源类型、数据源、DB/Schema筛选数据表，支持的数据源请参见 Dataphin支持的数据源，若数据源和Dataphin集群无法连通，则需要先进行元数据采集才能配置质量监控规则，支持的数据源请参见 创建及管理元数据采集任务。...
字段信息：为您展示字段的序号、名称、数据类型、描述/备注、业务类型/关联实体（维度逻辑表和事实逻辑表仅展示关联实体）、关联标准（需购买数据标准模块）、样例数据（仅开启 数据采样 功能时展示）、质量分（需购买数据质量模块且资产...
已添加记录列表：为您展示数据表、表字段、数据分类、数据分级、脱敏生效状态信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。生效状态：生效状态配置...
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。功能介绍 FML（Fast Modeling Language）是用于在维度建模领域快速构建数据表的一门类SQL语言，其语法采用了...
已添加记录列表：为您展示数据表、表字段、数据分类、数据分级、脱敏生效状态信息，您可以对数据表、表字段、数据分类、生效状态进行修改，同时您可以在 操作 列下进行 在此表下继续配置字段识别规则 和 删除 操作。生效状态：生效状态配置...
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
当选择数据表时，需保证模型与下游节点的输入数据模型相同，适用于已创建数据模型的场景。当选择*（任意结构）时，代表数据结构为任意结构，适用于未创建数据模型的场景。说明 模型名称支持复制，将鼠标移动至已选择模型时，单击 图标，...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
加载策略包括 覆盖所有数据、追加数据、仅覆盖集成任务写入的数据，适用场景说明如下：覆盖所有数据：会先删除目标表或分区下的所有数据，再新增以表名开头的数据文件。追加数据：直接向目标表追加写入数据。仅覆盖集成任务写入的数据：会...
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。V5.2.1版本之前开通域内质量功能...
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。V5.2.1版本之前开通域内质量功能...
本文以EMR Hive单表离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络连通、同步任务配置方面的最佳实践。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储...
直接读取成 Pandas DataFrame：with t.open_reader(partition='pt=test')as reader:pd_df=reader.to_pandas()写入表数据 类似于 open_reader，table对象同样能执行 open_writer 来打开writer，并写数据。使用with写法：with t.open_writer...
先清空表数据：先清空目标表数据，再将数据全量导入至目标表中相应的映射字段。追加：将待上传数据追加至目标表相应映射字段中。目标表 新建表 表名 自定义新建表表名。说明 MaxCompute引擎新建表过程，使用的是DataWorks计算资源里面配置...
本文介绍如何通过INSERT外表方式将 AnalyticDB for MySQL 数仓版 数据导出到MaxCompute分区表。前提条件 根据MaxCompute 准备工作 和 快速入门 准备目标数据表。例如通过 表操作 语句，在MaxCompute中创建以下表。如果您已经有目标数据表，...
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
② 图例区 表级血缘支持的数据表，包括 物理表、物理视图、物化视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表名称关键字进行模糊搜索。中心节点：展示当前资产的...
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权，可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...