UpdateTable 更新元数据表信息 根据名称更新数据湖元数据表信息。UpdateTableColumnStatistics 更新元数据表统计信息 创建或者更新元数据表的字段统计信息。GetTable 获取元数据表详情 获取某个数据湖元数据表的详细信息。...
BatchUpdateTables 批量更新元数据表信息。CancelQuery 取消查询。CheckBlueprintInstanceName 检查任务名是否合法。CheckConnection 检查连接信息。CheckConnectivity 检查连通性。CheckPermissions 对User权限进行校验。Create 登录产品...
USER_PART_TABLES 视图提供当前用户拥有的数据库中的所有分区表的信息。名称 类型 说明 schema_name TEXT 表所在 schema 的名称。table_name TEXT 表的名称。partitioning_type TEXT 用于定义表分区的分区类型。subpartitioning_type TEXT ...
GetPartitions 获取表的所有分区信息。DropPartition 删除分区信息。表管理 API 描述 CreateTable 创建OSS的表。GetTable 获取给定表的详细信息。GetAllTables 获取当前用户有读权限或写权限的所有表。AlterTable 修改表的数据库名、表名、...
查看分区信息 查看某个分区表具体的分区信息。具备读取表元信息权限（Describe）的用户。列出项目空间下的表和视图 列出项目空间下所有的表、视图或符合某规则（支持正则表达式）的表、视图。具备项目空间查看对象列表权限（List）的用户。...
分区讯息 为您展示MaxCompute分区表的信息。字段映射 单击 字段映射，设置源端和目标端字段的映射。同步任务会根据字段的映射关系同步数据。如果您需要新建表，请单击 一键建表 后，在 新建数据表 对话框中，配置各项参数。参数 描述 表...
分区表操作必须携带分区信息，建议补充分区信息。MissingRequestBodyError The request body is missing 无。MissingRequiredHeaderError Your request was missing a required header 无。NoPermission You do not have enough privilege ...
背景信息 MaxCompute分区表是指在创建表时指定分区空间，即指定表内的几个字段作为分区列。使用数据时，如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。分区剪裁是指对分区列指定过滤条件，...
分区信息 查看当前表的分区信息、分区数量，MaxCompute分区数最大为6万个（如果设置了生命周期，实际分区数以生命周期为主），此处默认只展示10个分区。重要 仅MaxCompute公共表显示分区信息。此处展示该表非完整分区信息，若要查看...
dlf:UpdateTable 更新数据表信息。dlf:UpdateTableColumnStatistics 更新元数据表统计信息。dlf:GetTableColumnStatistics 获取元数据表统计信息。dlf:DeleteTableColumnStatistics 删除元数据表统计信息。dlf:...
OSS外部表包含分区表和非分区表两种类型，实际需要创建哪种类型的表，主要取决于OSS中数据文件的存储路径格式。当数据文件以分区路径方式存储时，需要创建分区表；否则创建非分区表。更多读取分区数据信息，请参见 读取以分区方式存储的OSS...
开启后分区表已经迁移过的分区不会被重新迁移。只迁schema 只迁移表结构、分区值。根据实际情况选择是否打开。分区过滤 详情请参见 分区过滤表达式说明。表名映射 ⼀个Table迁移到⽬的项目后的名称。单击 确定。说明 如果迁移任务的配置...
基础信息：包括环境、专题目录、项目、表类型、是否分区表、是否手工表、最高涉密等级、创建时间、创建人、产出任务。环境：为您展示该数据表的环境信息。专题目录：为您展示该数据表归属的专题目录。项目：为您展示该数据表归属的项目信息...
基础信息：包括表的环境、专题目录、项目、表类型、是否分区表、是否手工表、最高涉密等级、创建时间、创建人、产出任务。环境：为您展示该数据表的环境信息。专题目录：为您展示该数据表归属的专题目录。项目：为您展示该数据表归属的项目...
是否分区表：为您展示该数据表是否为分区表。是否手工表：为您展示该数据表是否为分析平台的手工表。最高涉密等级：为您展示该数据表的字段的敏感程度，数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）及自定义的数据分级。创建时间...
批量配置调度时，非分区表不会保存校验范围表达式，只会保存调度配置。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则的对象的生效状态，停用生效状态后，所...
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
批量配置调度时，非分区表不会保存校验范围表达式，只会保存调度配置。试跑：支持选择 已有调度 或 自定义校验范围 试跑规则，试跑后，可单击 图标 查看试跑日志。说明 批量试跑时，建议选择相同分区的表。分区信息会直接下放执行，如果...
说明 创建表时必须指定必要的表信息，例如，主键、列的编码格式或压缩格式、Hash分区或Range分区等。查看表信息。DESCRIBE kudu.default.users;返回如下类似信息。Column|Type|Extra|Comment-+-+-+-user_id|integer|primary_key,encoding=...
Table Object 获取的表信息。CreateTime Long 20190813 表的创建时间。DbName String db001 数据库名称。LastAccessTime Long 20190814 表的最后访问时间。Owner String user001 创建表的DLA username。Parameters Map 表的属性。String ...
说明 DataWorks不支持对MaxCompute分区表进行字段映射，您需要单独配置分区字段。说明 参数配置的更多信息，请参见 MaxCompute Reader。配置数据去向：数据源的类型选择为 ClickHouse。参数含义如下。参数 描述 数据源 数据源的类型与名称...
kepler_cache_table_status 记录了集群中已创建的Cache表信息，用法详情请参见 Cache Table。字段说明：字段 说明 schema_name 数据库名称。table_name Cache表名。cache_id Cache表ID，唯一标识。deleting 是否正在删除中。occupied 正在...
数据更新触发调度：在一个代码任务执行时，会解析本次任务是否更新当前表和所属分区，并执行校验（非分区表只判断表是否更新）；如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点...
若当前表为Hologres分区表，建议使用固定任务触发调度。校验范围会作为质量校验时的过滤条件下发到质量校验的语句中，控制每次质量校验的范围。校验范围也会作为后续质量报告等下游的基本单元，质量报告的查看会以校验范围为最小查看粒度。...
分区信息：可查看数据表的分区信息。多级分区将按照各级分区组合结果展示，不同分区之间用/连接。例如：ds=20221001/pt1=a/pt2=b。注意：分区记录数和存储量信息仅供参考。说明 当数据表为 物理表（内部表）时，使用Less Than和fixed range...
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
数据插入表是一个分区表，其中有m个分区字段，但是插入数据SQL里只有n个分区列，导致数据写入找不到分区报错 解决方案 建议修改插入数据SQL，对齐分区字段。示例-创建表 create table if not exists mf_sale_detail(shop_name string,...
② 明细信息 为您展示 表结构、分区信息、数据预览 明细信息。表结构：字段列表包括 字段 详情、描述、数据类型、关联标准（需购买数据标准模块）、数据分类（需购买安全模块）、数据分级（需购买安全模块）、热度 信息，同时您可以在 操作...
分区信息：可查看数据表的分区信息。字段：选择需要查看的字段以及对应的日期区间，为您展示距离选中结束日期过去30个分区的数据。字段分区详情：深色代表字段在对应分区有记录、浅色代表字段在对应分区无记录。数据预览：若有当前表的查询...
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。规则校验 数据...
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可以选择是否开启 对比表数据过滤，开启后可以配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。校验配置 ...
收集分区表的统计信息 该步骤是一个Hologres SQL模块，收集父表的统计信息，SQL代码如下。大量数据导入后执行ANALYZE分区表父表操作 ANALYZE${holo_table_name};需要将基础参数绑定至该模块上游，用于控制其中的参数变量，系统配置如下。...
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
MaxCompute数据迁移至OSS 2019-08-01 新增PyODPS读取分区表数据最佳实践。新实践 新增PyODPS读取分区表数据最佳实践。PyODPS读取分区表数据 2019-08-01 新增PyODPS查看一级分区最佳实践。新实践 新增PyODPS查看一级分区最佳实践。PyODPS...
同步单表信息（非分区表）例如MaxCompute中有以下分区表：CREATE TABLE IF NOT EXISTS part_datatype_test_complex(int_test int,bigint_test bigint,double_test double,string_test string,datetime_test datetime,boolean_test boolean,...
新增分区表相关系统表：gp_partition_template gp_partition_template 定义了分区表在分区层次结构中的每个级别的子分区模板，表结构信息如下。列名 类型 描述 relid oid 分区表的OID（顶层父表）。level int16 分区在层次中的级别。...
with t.open_reader(partition='dt='+args['dt']+',region=beijing')as reader1:count=reader1.count print("查询分区表数据：")for record in reader1:print record[0],record[1],record[2]单击 高级运行（带参数运行）。在 参数 对话框...
可视化管理资源 2021年10月更新记录 时间 特性 类别 描述 产品文档 2021-10-26 支持清空分区表的分区数据。新说明 MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式...