表360功能从基础信息、治理项问题、任务执行信息等多个维度为您直观展示MaxCompute表的基本情况,本文为您介绍治理工具箱中的表360功能。使用限制 仅支持对MaxCompute项目中的表进行相关的治理操作。仅阿里云主账号和拥有 ...
提交执行任务时,会和上一次运行成功的任务对应的表做对比,当发现新增表时则会执行新增表的添加流程。说明 重置实时同步任务位点并启动运行时,会存在一个新增表追加变更数据的过程,即任务位点时间重置到新增表全量数据初始化时的时间。...
该表的列具有和 SELECT 的输出列相关的名称和数据类型(不过可以通过给出一个显式的新列名列表来覆盖这些列名)。CREATE TABLE AS 和创建一个视图有些相似,但是实际上非常不同:它会创建一个新表并且只计算该查询一次用来初始填充新表。这...
对于父表的模式修改通常也会传播到子表,并且默认情况下子表的数据会被包括在对父表的扫描中。如果在多个父表中存在同名的列,除非父表中每一个这种列的数据类型都能匹配,否则会报告一个错误。如果没有冲突,那么重复列会被融合来形成新表...
从本数据库11开始,添加一个具有常量默认值的列不再意味着在执行 ALTER TABLE 语句时需要更新表的每一行。相反,默认值将在下次访问该行时返回,并在表被重写时应用,从而使得 ALTER TABLE 即使在大表上也非常快。但是,如果默认值是可变的...
广播表 广播表不做拆分,且所在数据库的所有数据节点均具有该表的副本。单表 没有做拆分的表为单表。数据库模式 创建数据库时通过Mode参数指定,包括DRDS与AUTO两种模式。DRDS模式数据库 创建数据库时指定 Mode=DRDS 的数据库,此类数据库...
报错:Open ORC file failed for schema mismatch.Reader schema:报错原因:MaxCompute的表为ORC格式,表的DECIMAL类型存储方式改变(一般是MaxCompute新加了DECIMAL字段或者MaxCompute做了灰度配置变更),导致Hologres读MaxCompute的...
使用Kafka JSON Catalog访问MySQL数据库表的对应表,下游作业可以消费Topic中的数据来获取数据库表的最新数据。对于同步到Kafka的表,使用方式有以下两种:通过Catalog直接使用 详情请参见 使用Kafka JSON Catalog。说明 在直接使用时,...
设置目标表 您可以定义写入目标表的相关属性,例如,写入模式、是否写入分区表以及分区的字段名称、选择写入目标端已有表还是新建表、以及是否需要编辑字段并为目标字段赋值等。说明 此步骤中,单击 刷新源端与目标端表映射 按钮后,将会...
单击 刷新源表和目标表映射,创建需要同步的源表和目标表的映射关系。支持您自定义目标schema、自定义目标表名、通过 编辑附加字段 为目标表添加常量,变量等操作。具体配置以各数据源实时同步界面为准。说明 如果同步的表数量较多,会导致...
示例:对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理,使用${db_table_name_src_transed}代表上一步的处理结果“my_table”,再为该内置变量增加前缀和后缀,例如,pre_${db_table_name_src_transed}_post,最终就...
示例:对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理,使用${db_table_name_src_transed}代表上一步的处理结果“my_table”,再为该内置变量增加前缀和后缀,例如,pre_${db_table_name_src_transed}_post,最终就...
a STRAIGHT_JOIN b 语法执行时a表会做连接的左表,b表会做连接的右表,且a和b直接连接,优化器不会再做表连接顺序的优化。使用场景 适用于指定INNER JOIN执行时的左右表,且表大小明确,或 AnalyticDB MySQL 执行计划选择的INNER JOIN左右...
开源软件:开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态,您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息,请...
本文介绍如何将基于x86平台的应用迁移到基于阿里云倚天实例的服务器上使用。迁移背景 倚天云服务介绍 云服务...开源软件:指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多信息,请参见 开源软件迁移。
Dataphin会自动为您匹配创建表的代码,包括目标表名称(默认为来源表名)、字段类型(基于Dataphin初步做了字段类型的转换)等信息。您可以根据业务情况完成创建目标表的SQL脚本修改,并单击 新建。目标表新建成功后,Dataphin自动将新建的...
Dataphin会自动为您匹配创建表的代码,包括目标表名称(默认为来源表名)、字段类型(基于Dataphin初步做了字段类型的转换)等信息。您可以根据业务情况完成创建目标表的SQL脚本修改,并单击 新建。目标表新建成功后,Dataphin自动将新建的...
从执行效率的角度来看,这两个操作可以合并成一个,使用dimension_table.key1建哈希表以及做聚合运算,使用fact_table.key1查哈希表以及做聚合运算,因此节省了使用fact_table.key1建哈希表的时间。这种将HASH JOIN与HASH GROUP BY两个算子...
一种创建一个未来将被用做子女的新表的方法是在 CREATE TABLE 中使用 LIKE 子句。这将创建一个和源表具有相同列的新表。如果源表上定义有任何 CHECK 约束,LIKE 的 INCLUDING CONSTRAINTS 选项可以用来让新的子表也包含和父表相同的约束。...
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明,将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时,获得的锁将是子...
修改表的所有人 修改表的所有人,即表Owner。命令格式 alter table<table_name>changeowner to;参数说明 table_name:必填。待修改Owner的表名。new_owner:必填。修改后的Owner账号。使用示例-将表test1的所有人修改为ALIYUN$xxx@aliyun....
如果是表的附属对象,可能会修改表数据的,做删除处理,例如Trigger和Foreign key。但Column statistics不做清理,随表进入回收站。清理机制 回收站会启动一个后台线程,来异步清理超过 recycle_bin_retention 时间的表对象。在清理回收站...
表中的数据被删除或更新后(UPDATE/DELETE),物理存储层面并不会直接删除数据,而是标记这些数据不可见,所以会在数据页中留下很多“空洞”,在读取数据时,这些“空洞”会随数据页一起加载,拖慢数据扫描速度,需要定期回收删除的空间。...
如果表的包装器不支持 ANALYZE,该命令会打印一个警告并且什么也不做。在默认的配置中,自动清理守护进程会在表第一次载入数据或者用常规操作改变时负责表的自动分析。当启用自动清理时,定期运行 ANALYZE 是个好主意,或者可以在表内容做...
通过手动新建逻辑表,建立您期望的数据表样式和字段,并支持将逻辑表物理化至云计算资源中,为后续的表加工和使用做基础。本文介绍如何手动新建逻辑表。前提条件 已新建目录,具体操作,请参见 新建模型目录。操作步骤 登录 数据资源平台...
通过手动新建逻辑表,建立您期望的数据表样式和字段,并支持将逻辑表物理化至云计算资源中,为后续的表加工和使用做基础。本文介绍如何手动新建逻辑表。前提条件 已新建目录,具体操作,请参见 新建模型目录。操作步骤 登录企业数据智能...
ADD/DROP PARTITION支持分区粒度的MDL锁 在线分区维护 EXCHANGE PARTITION支持分区粒度的MDL锁 REBULD/REORGANIZE PARTITION支持分区粒度的MDL锁 二级分区支持子分区粒度的MDL锁 DDL功能 普通表与分区表的ONLINE DDL 普通表转分区表ONLINE ...
介绍如何查看表的数据存储量。操作步骤 通过控制台在数据表的 基本详情 页签,可以查看表大小,即表的数据存储量。通过控制台在数据表的 监控指标 页签,选择 指标分组 为 表大小,可以查看表大小,即表的数据存储量。
您无需编写SQL代码,在维表的编辑页面进行可视化编辑,即可修改通过维表创建的MaxCompute表的信息。前提条件 已创建完成一个维表,详情请参见 创建维表。操作步骤 数据分析概述。在数据分析页面的左侧菜单栏,单击 图标进入 维表 页面。在 ...
数据质量监控模块为您提供数据表开发的跟踪管理功能。数据质量监控的界面如下图所示,默认显示当前项目接入的“现场开发”类的...数据表的开发责任人需要维护您负责表的数据质量并及时解决质量问题,避免因表的数据质量影响下游表的产出质量。
选中 我已知晓此风险并确认作为此表owner,对后续此表的变更负责,单击 确认,进入维表的编辑页面查看和修改表的信息。详情请参见 编辑维表。数据分析的MaxCompute表维护在生产环境中,所以表的创建者需要对表的创建和后续维护负责。查看和...
使用DescribeTable接口可以查询指定表的结构、预留读/写吞吐量详情等信息。说明 API说明请参见 DescribeTable。前提条件 已初始化Client。具体操作,请参见 初始化。已创建数据表。参数 参数 说明 tableName 表名。示例 以下示例用于查询...
建议当主辅表的join关系是N:1时,建议N值不超过10 相关建议 如果对主表的延迟可以容忍,可以提工单,开放辅表tps限速的限制 如果对辅表的时效性可以容忍,且主表由于辅表的大量更新导致有较大延迟,可以提工单,限制辅表的更新量
当您执行数据迁移、数据更新等操作时,需要清空数据库中表的原有数据并保留表的结构。本文为您介绍如何清空云虚拟主机数据库中表的数据。背景信息 云虚拟主机支持MySQL数据库和SQL Server数据库,根据不同的数据库类型,请您选择如下对应...
对于逻辑表任务,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度...相关对象 逻辑表的相关对象,指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务(当前表是此任务的输入表)/逻辑表。
逻辑表的相关对象,指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务(当前表是此任务的输入表)/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 请参见 数据开发入口,...
逻辑表的相关对象,指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务(当前表是此任务的输入表)/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 请参见 数据开发入口,...
产品名称 Dataphin 产品模块 集成任务,多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步,为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
二级索引相当于把数据表的主键查询能力扩展到了不同的列,当需要使用属性查询数据时,您可以通过创建二级索引加快数据查询的效率。设置预定义列后,在创建二级索引时将预定义列作为索引表的索引列或者属性列。说明 二级索引包括全局二级...
配置示例 宽表和索引表的列映射采用JSON文件实现,列映射的配置示例如下,将宽表 testTable 的数据同步至索引表 democollection,宽表的 f:name 这一列映射到索引表的 f_name_s 这一列,宽表的 f:age 这一列映射到索引表的 f_age_i 这一列...