Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
本文为您介绍数据湖构建中Iceberg数据表的基本操作。表类型介绍 特性 采用湖格式Iceberg表,遵循 Apache Iceberg 的开放API规范，推荐使用 Apache Iceberg Client 读写。数据管理 数据由DLF完全管理，包括元数据和实际数据文件。删除表时，...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将已添加的源表数据进行删除。本地数据 支持用户通过上传本地文件方式将数据集导入至...
全域数据表：根据数据源类型、数据源、DB/Schema筛选数据表，支持的数据源请参见 Dataphin支持的数据源，若数据源和Dataphin集群无法连通，则需要先进行元数据采集才能配置质量监控规则，支持的数据源请参见 创建及管理元数据采集任务。...
全域数据表：根据数据源类型、数据源、DB/Schema筛选数据表，支持的数据源请参见 Dataphin支持的数据源，若数据源和Dataphin集群无法连通，则需要先进行元数据采集才能配置质量监控规则，支持的数据源请参见 创建及管理元数据采集任务。...
本文介绍如何查看已公开的数据表资产详情。前提条件 已公开数据表资产“dws_ren_kh_demo_di（银行客户信息）”，具体操作，请参见 表资产。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现。在顶部菜单栏，选择 ...
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。功能介绍 FML（Fast Modeling Language）是用于在维度建模领域快速构建数据表的一门类SQL语言，其语法采用了...
数据表权限管理详情 在数据表权限管理页面，单击 管理权限 页签和 操作记录 页签，可查看数据表权限详情和操作记录详情。管理权限详情 为您展示数据对象的名称、表类型、所属板块/项目/数据源、数据负责人、权限个数信息。您可按照数据表的...
本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
数据表权限管理详情 在数据表权限管理页面，单击 管理权限 页签和 操作记录 页签，可查看数据表权限详情和操作记录详情。管理权限详情 为您展示数据对象的名称、表类型、所属板块/项目/数据源、数据负责人、权限个数信息。您可按照数据表的...
支持展示数据表资产基本信息、扩展信息、字段信息、数据预览、血缘关系和数据质量等信息，并提供申请数据表使用权限的功能。支持展示API基本信息、扩展信息、接口信息、血缘信息，并提供申请API使用权限的功能。支持展示指标基本信息、扩展...
本文介绍如何为数据表进行编目。前提条件 已物理化“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 物理化逻辑表。已创建数据目录，具体操作，请参见 编制目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。V5.2.1版本之前开通域内质量功能...
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。V5.2.1版本之前开通域内质量功能...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权，可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
创建及管理标签离线服务 创建及管理群组离线服务 标签资产市场概述 创建规则组合标签 个人数据中心 支持查看我在资产清单收藏的所有资产，包括数据表、API、指标和标准。支持查看我所负责的全量表资产。查看及管理我负责的资产 查看及管理...
或者通过DDL操作转分区表，但DDL执行期间会阻塞该表线上的写操作。所以，在转分区表之前，需要提前规划分区。例如，预计未来的数据量较大需要分区，建议不要等到数据量增长到大于10 TB时才转分区表，您可以提前规划分区（5 TB的数据量在线...
方案1：使用加速服务 注意事项 加速项与数据表之间是一一映射的关系，即：一个加速项中只包含一张数据表，一张数据表最多也只会产生一个加速项。如果在新增加速项时，选择了已配置过加速项的数据表名称，则该加速项将会初始化失败。步骤1：...
离线数据集创建完成后，可在离线数据集列表中进行相关管理操作。本文为您介绍数据集相关的管理操作。在Dataphin顶部菜单栏中，选择 标签 标签工作台。在左侧导航栏中，选择 数据准备 离线数据集。离线数据集 页面分别展示离线数据集列表，...
数据集成提供离线批处理同步、实时数据同步和整库迁移方案，可用于T+1离线数据ETL、秒级实时数据复制和整库迁移等场景。同步方案说明 同步类型 源粒度 目标粒度 时效性 同步场景 单表离线 单张表 单张表/分区 T+1 或周期性 周期性全量、...
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
说明 对于通过 表映射 和 SQL加工 的离线数据集，编辑时支持修改指标的 来源字段，修改的 来源字段类型 需要符合 指标的值类型；表单加工 的离线数据集支持切换指标的 统计字段、统计函数，切换的 统计字段、统计函数 的选择结果必须符合 ...
将鼠标悬停在 数据引入 区域上，为您展示 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步到计算引擎的数据源数量，按照同步成功的表数量进行汇总排序，T+1更新。数据表接入量Top5、数据表接入量Least5...
将鼠标悬停在 数据引入 区域上，为您展示 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步到计算引擎的数据源数量，按照同步成功的表数量进行汇总排序，T+1更新。数据表接入量Top5、数据表接入量Least5...
数据专辑功能帮助您按照业务视角，进行数据表的分类、分级组织和管理。您可以将指定表等加入目标专辑中进行收纳，实现快速、便捷地检索和定位。本文为您介绍如何创建并使用数据专辑，及数据专辑的管理等操作。版本限制 仅支持DataWorks专业...
当离线数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量进行分析和定级。详情请参见 数据质量。数据质量为您解决以下问题：数据库频繁变更...
在离线集成中，当数据表来源选择项目时，支持同步自己有权限的行数据。在目录-数据预览中，支持查看自己有权限的行数据。在创建行为关系、离线视图时，生产账号支持读取有权限的行数据。在调用API过程中，用户不受行级权限管控。权限说明 ...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
元数据管理功能主要展示当前实例的所有数据库、数据表、分区及各种任务等信息，同时支持创建数据库和数据表，并定义其列及相关属性。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、缓存数据...
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、物化视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持...
数据湖构建的数据表是实现实时离线一体化的核心。本文深度解析了内部表与外部表的本质区别、选型要点及其全生命周期管理，为构建高性能、易维护的现代数据湖奠定基础。
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的...说明 数据表仅包含物理表、逻辑表和全域数据表。数据源仅包含离线物理数据源。
在离线集成中，当数据表来源选择项目时，支持同步自己有权限的行数据。在目录-数据预览中，支持查看自己有权限的行数据。在创建行为关系、离线视图时，生产账号支持读取有权限的行数据。在调用API过程中，用户不受行级权限管控。行级权限不...
根据选择的物理数据表，系统自动为您解析物理数据表所关联的行级权限信息，包括行级权限名称、描述说明、控制字段、数据源环境、关联表、关联字段。同时，您可以执行如下操作。开启 或 关闭 行级权限：控制行级权限的生效状态以及在查看...