配置项 描述 关联数据服务 在下拉框中选择已创建的实时数据服务。数据源名称 自定义数据源名称。数据源描述 自定义数据源描述。数据源类型 目前仅支持Kafka。brokers Kafka接入点信息。阿里云的Kafka服务，可登录阿里云控制台获取默认接入...
INSERT INTO beam_example SELECT r,md5((r*random()):text),now()+interval '1 seconds'*(r*random()):int FROM generate_series(1,10000000)r;SELECT*FROM beam_example WHERE id=100000;指定压缩算法 Beam支持多种压缩算法，您可以根据...
PRIMARY KEY 定义由表中定义的一列或多列组成。在语法上，主关键字定义为关键字 PRIMARY KEY，后跟用括号括起来的列名称的列表，该列名称用括号括起来，但是如果主键只有一列，则可以用 PRIMARY KEY 关键字替换该列定义。主键中定义的列的...
数据管理DMS 的增强E-R功能基于DMS自研的统一Catalog的元数据采集引擎、列算子血缘解析引擎（解析字段间关联、依赖和影响关系的引擎）和数据资产知识图谱构建等核心能力，可清晰地展现您名下某个数据库内资产之间的关联关系。本文介绍了...
选择某一列作为事件时间 重要 事件时间必须是TIMESTAMP或者TIMESTAMP_LTZ类型。以下示例指定user_action_time为事件时间。CREATE STREAM user_actions(user_name STRING,data STRING,user_action_time TIMESTAMP(3),-声明 user_action_time...
操作系统 是 在下拉列表中选择数据库所在服务器的操作系统类型，支持选择的操作系统类型与数据库类型有关。说明 部分资产类型无需配置操作系统，具体请以控制台显示为准。编码 否 在下拉列表中选择审计数据的编码类型。支持以下类型：自动...
在PolarDB PostgreSQL 11版本（简称PG 11版本）升级到PolarDB PostgreSQL 14版本的过程中，大部分的数据类型、内置函数、表列和对象都没有发生显著变化，大多数变化属于细节改进。通过逻辑复制等方式（推荐使用DTS工具）可以实现接近100%的...
场景一：对20%的业务数据列加密 此场景中在选择加密列时，优先选择了ID信息，以模拟真实业务场景中加密身份证号、订单号等数据的需 求。测试结果 Terminal数量 全明文（TPS）20%敏感列加密（TPS）性能损耗 8 260.55 237.64 8.79%16 302.78 ...
选择列数据的 类型。重要 请务必确保目标表的数据类型与源MongoDB的数据兼容。可选：配置列数据的 长度 和 精度。在 赋值 下方的文本框中填写 bson_value()表达式，详情请参见 赋值配置示例。重要 目标表的主键列必须赋值为 bson_value("_...
创建的表sale_detail_ctas3的第四、五列类似于_c4、_c5。示例5：创建一个新表sale_detail_like，与sale_detail具有相同的表结构，并设置生命周期。create table sale_detail_like like sale_detail lifecycle 10;您可以通过 desc extended ...
本文主要介绍搭建DataV数据大屏的操作步骤。步骤一：购买DataV基础版 登录 DataV管理控制台，本教程使用 兼容MySQL 方式连接DLA服务，所以购买DataV基础版即可满足要求。步骤二：添加DLA数据源 在添加数据源之前，您必须先为您的DLA配置白...
创建外表时，可以仅选择Parquet或ORC文件中的部分列作为外表中的列，未被选择的列不会被导入。如果创建外表创建语句中出现了Parquet或ORC文件中不存在的列，针对该列的查询结果均会返回NULL。创建Parquet格式文件的外表时，需要注意数据...
在弹出的 导出 面板中，选择导出内容。选择所属库。选择导出对象所在的数据库。该项下同时显示目标任务所在数据库的数据源名称。重要 OceanBase MySQL 模式下，内置数据库不支持导出功能。选择导出范围。支持选择 部分导出 和 整库导出。...
本文介绍如何通过外表查询OSS数据文件，并将OSS中的数据文件导入 AnalyticDB MySQL 数仓版（3.0）。目前支持的OSS数据文件格式有Parquet、CSV和ORC。前提条件 已开通OSS服务并创建存储空间和项目。具体操作，请参见 开通OSS服务、控制台...
警告 在选择附加列规则之前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。目标已存在表的处理模式 预检查并报错拦截：检查...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例，介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle数据库迁移至...
谓词重排序：单表扫描中存在多个谓词的情况，例如 t1.c2 LIKE '%cat%' AND t1.c1=5，其中 t1.c1=5 执行的代价较低，且选择率较低，通过重排这两个谓词的顺序，让 t1.c1=5 先执行，可以显著地减少更重的 LIKE 操作，提高查询效率。...
MaxCompute支持通过 select 语句查询数据。本文为您介绍 select 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 select 操作前需要具备目标表的读取数据...查询表sale_detail中region列数据，如果有重复值时仅显示一条。命令示例...
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的实时物化视图功能。...显示结果如下：max|min|b-+-+-2|2|a 4|4|c 5|5|d 6|6|e 7|7|f(5 rows)结果显示实时物化视图的数据与基表数据保持一致。删除实时物化视图。DROP MATERIALIZED VIEW mv;
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的实时物化视图功能。...显示结果如下：max|min|b-+-+-2|2|a 4|4|c 5|5|d 6|6|e 7|7|f(5 rows)结果显示实时物化视图的数据与基表数据保持一致。删除实时物化视图。DROP MATERIALIZED VIEW mv;
MaxCompute支持通过 SELECT 语句查询数据。本文为您介绍 SELECT 命令格式及如何实现嵌套查询、分组查询、排序等操作。执行 SELECT 操作前需要具备目标表的读取数据权限（SELECT）。...查询表sale_detail中region列数据，如果有...
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的实时物化视图功能。...显示结果如下：max|min|b-+-+-2|2|a 4|4|c 5|5|d 6|6|e 7|7|f(5 rows)结果显示实时物化视图的数据与基表数据保持一致。删除实时物化视图。DROP MATERIALIZED VIEW mv;
简介 修改已经存储在数据库中的数据的行为叫做更新。你可以更新单个行，也可以更新表中所有的行，还可以更新其中的一部分行。我们可以独立地更新每个列，而其他的列则不受影响。要更新现有的行，使用UPDATE命令。这需要提供三部分信息：表...
Kafka数据源为您提供读取...是 column 需要读取的Kafka数据，支持常量列、数据列和属性列：常量列：使用单引号包裹的列为常量列，例如["'abc'","'123'"]。数据列 如果您的数据是一个JSON，支持获取JSON的属性，例如["event_id"]。如果您的数据...
例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入语句中却指定制表符（\t）作为列分隔符，最终导致源数据的三列数据解析成了一列数据。解决方案 修改导入命令或导入语句中的列分隔符为逗号（,），...
警告 在选择附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。增量日志表分区定义 根据业务需求，选择分区名称。关于...
Cache Aside模式下，持久化层和缓存层的一致性问题主要是“双写”，即数据既在数据库中保存一份，又在缓存中保存一份，通过应用侧来维护两份数据的一致性。这种情况下会遇到很多数据一致性的问题，比如数据库和缓存的操作先后顺序、缓存是...
云数据库SelectDB版 支持的表引擎如下：Aggregate表引擎 Unique表引擎 Duplicate表引擎 索引（Index）索引是对表中一列或多列的值进行排序的一种结构，使用索引 可以快速过滤表中的数据，提高数据的查询效率。目前 云数据库SelectDB版 支持...
那么在第二次写入c2的值时，需要读出原始的c1值，才能够拼接出完整的索引数据c1，c2。MUTABLE_ALL（成本最高）写入数据时，业务自定义时间戳（User-Defined Timestamp）。例如：全量任务和增量并存的场景，往往需要在全量任务时携带时间戳...
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
当源端删除其中一条数据时，由于匹配条件是 where c1=1 and c2=2，会导致目标端的两条 c1=1 和 c2=2 的数据均被删除，导致源端和目标端的数据不一致。对于 tsvector 类型字段的迁移，如果涉及反向增量至 RDS PostgreSQL 实例，在 OceanBase...
保存查询条件后，如果您后续需要使用相同查询条件，不需要重新设置，可以直接在查询条件下拉列表中选择已保存的查询条件。单击 搜索，执行查询。说明 一次查询最多可查询10,000条记录。完成查询后，在 审计日志 页面下方查看返回记录。可选...
导入数据的最后一列为什么会多出\r符号？使用Tunnel Upload命令上传数据时，默认用逗号进行列分割，但是数据中有逗号，这种情况如何分割？使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时...
已选择对象 若您使用的不是高权限账号或待同步的数据库名称不符合 PolarDB MySQL版 的定义规范，您需要右击 已选择对象 中待同步对象所属的Schema，在 编辑Schema 对话框中，将 Schema名称 修改为 PolarDB MySQL版 集群中用于接收数据的...
function_column.sequence_col 只适用于UNIQUE_KEYS，相同Key列下，保证Value列按照source_sequence列进行REPLACE,source_sequence可以是数据源中的列，也可以是表结构中的一列。exec_mem_limit 指定导入内存限制。单位为字节，默认为 ...
max(src_port),min(dst_ip),max(dst_ip),min(dst_port),max(dst_port)FROM(SELECT input_file_name()AS file,*FROM conn_record)GROUP BY file 从表中统计信息来看，由于每一列的min-max的范围都比较宽，特别是端口号，几乎覆盖了端口列的...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle同步至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 同步方案概览...
Cache Aside模式下，持久化层和缓存层的一致性问题主要是“双写”，即数据既在数据库中保存一份，又在缓存中保存一份，通过应用侧来维护两份数据的一致性。这种情况下会遇到很多数据一致性的问题，比如数据库和缓存的操作先后顺序、缓存是...
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作，请参见 支持同步的SQL操作。若您需设置条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...