已将CSV或TXT数据文件下载至本地。本文提供的数据文件样例如下：导入非分区表的数据文件：banking.txt。导入分区表的数据文件：banking_nocreditcard.csv、banking_uncreditcard.csv 和 banking_yescreditcard.csv。步骤一：导入数据 基于...
本文介绍了如何在云盾数据库审计系统和在日志服务控制台查询审计日志。在数据库审计系统查看审计日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析>审计日志。在 审计日志 页面，设置要查询的 ...
在调用部分接口配置或查询迁移或同步、订阅任务时，您需要配置或查询预留参数Reserve（数据类型为字符串String，传入格式为JSON）来完善或查看源或目标实例的配置信息（比如目标Kafka集群的数据存储格式、云企业网CEN的实例ID）。本文将...
将数据文件（点文件和边文件）导入至图数据库GDB实例前，您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等，使导入操作更加流畅。前提条件 已创建图数据库GDB实例，创建方法请参见 创建实例。已创建Bucket，创建方法请...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
必须保证所有物料的该字段逗号个数一致，且字段对齐 behavior 字段名 字段类型 是否必填 字段含义 字段值枚举 字段值说明 字段值示例 item_id string 必填 内容ID 用户自填 需要与item表中的item_id相匹配 34513 item_type string 必填 ...
主表（数据输入1）中的字段和数据将全部展示，次表（数据输入2）中相同的字段对应的数据将在行上进行扩展，不同的字段与数据不会展示。字段列表：展示主表数据输入1的字段。清洗加工 去掉数据表中不需要的列和行，并新增需要的列和行。从...
数据表是项目中的原始数据，可通过数据校验和数据授权...物理数据库名称 目标节点中存放 MySQL 数据表的 Database 数据库的名称。物理数据表名称 MySQL 数据表在 MySQL 数据库的真实名称。描述 选填，数据表的描述信息。配置完成后单击 确定。
用户自服务 若字段的【用户侧权限】为可见，用户登录自己的门户后，在【我的账户】菜单中，在【扩展信息】中即可看到对应字段和值。若字段的【用户侧权限】为可编辑，用户可点击字段的修改按钮，对选项值进行编辑。获取扩展字段 应用可通过...
函数格式 e_dict_map(data,field,output_field,case_insensitive=True,missing=None,mode="overwrite")参数说明 参数名称 数据类型 是否必填 说明 data Dict 是 目标数据字典。必须为标准的 {key01:value01,key01:value02,.} 格式，且必须...
映射关系 映射关系用于将源表的输入字段和目标表的输出字段映射起来。映射关系包括同名映射和同行映射。适用场景说明如下：同名映射：对字段名称相同的字段进行映射。同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射...
ORC数据类型与 AnalyticDB PostgreSQL版 数据类型的映射关系，请参见 ORC文件数据类型对照表。支持访问PARQUET格式的二进制文件。PARQUET数据类型与 AnalyticDB PostgreSQL版 数据类型的映射关系，请参见 Parquet文件数据类型对照表。支持...
user 字段名 字段类型 是否必填 字段含义 字段值枚举 字段值说明 字段值示例 user_id string 已登录用户必填 用户唯一ID 用户自填 1、注册用户必填。2、user_id 可作为一个用户的唯一标识 1234567 user_id_type string 可选 用户注册类型 ...
当您需要提升或降低字段的安全级别时，您可参考本文在数据管理DMS的SQL Console中调整字段的安全级别。前提条件 实例已开启敏感数据保护功能。具体操作，请参见 开通敏感数据保护。设置敏感等级的影响 设置敏感等级后，对使用数据的影响：...
代码评审要求 用例小类 测试要点 说明 是否已检查 数据一致性测试 主键唯一性 产出表必须有物理主键或逻辑主键，且在数据上主键成立。是 主键和外键逻辑关系 检查设计文档里关于主外键的设计是否在开发阶段得以实现，且在数据上成立，例如...
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
警告 此场景属于异构数据库间的数据迁移，DTS在执行结构迁移时数据类型无法完全对应，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 异构数据库间的数据类型映射关系。全量数据迁移 DTS会将自建Oracle数据库迁移对象的存量数据，...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
实践案例 原始日志 account:Sf24asc4ladDS OSS CSV文件数据 id account nickname 1 Sf24asc4ladDS 多弗朗明哥 2 Sf24asc4ladSA 凯多 3 Sf24asc4ladCD 罗杰 加工规则 通过日志服务Logstore中的 account 字段和OSS CSV文件中的 account 字段...
重要 配置的数据类型需要与CSV文件每一列的数据类型保持一致，否则该列内容会读取失败。字段分隔符 字段的分隔符，默认为半角逗号（,）。处理无效值的方法 解析Tensor、Vector和MTable类型的数据失败时，处理无效数据的方法。它们是Alink...
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。手动输入模式下，不需要第二列首轮问题数据，仅需topic数据。CSV 及 XLSX ...
背景信息 元数据（字典）是属于数据库本身的一些数据，包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于 information_...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
如何解决删除数据库时提示“schema is not empty.”？如何合理建表？在 AnalyticDB MySQL 中建表时，需要注意以下几点：分布字段的选择。AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能...
参数 说明 CSV字段 在 原始日志 页签中查看日志字段，将需要投递到OSS的字段名有序填入。日志服务还提供保留字段_time_、_topic_、_source_等。保留字段的更多信息，请参见 保留字段。说明 同一个日志字段在 CSV字段 中只能配置一次，不...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
您可以使用RDS PostgreSQL的备份下载功能，将云盘实例的快照备份数据转换成CSV文件或SQL文件导出，然后通过该文件将数据恢复到自建PostgreSQL数据库中。操作步骤 本示例以RDS PostgreSQL云盘实例的SQL文件恢复至ECS实例（CentOS 7.8 64位）...
本文为您介绍CSV格式的使用方法和类型映射。背景信息 CSV格式允许基于CSV结构读写CSV数据。当前，CSV结构是基于表结构推导而来的。支持CSV格式的连接器包括：消息队列Kafka、Upsert Kafka、消息队列RocketMQ、StarRocks 和 对象存储OSS。...
仅数值型字段 打开开关，CSV数据只解析数据类型的字段；关闭开关，CSV数据会自动解析所有字段。数据系列：单击右侧的 或 图标，添加或删除一个数据系列。单击 或 图标配置多个数据系列的排列样式。单击 图标，即可复制当前选中数据系列配置...
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
仅数值型字段 打开开关，CSV数据只解析数据类型的字段；关闭开关，CSV数据会自动解析所有字段。数据系列：单击右侧的 或 图标，添加或删除一个数据系列。单击 或 图标配置多个数据系列的排列样式。单击 图标，即可复制当前选中数据系列配置...
在进行向量分析前，您需要在数据库中导入数据，本教程将指导您如何通过SQL导入数据至 AnalyticDB PostgreSQL版 实例。前提条件 已开启向量检索引擎功能，目前已支持如下两种方式开启：在创建实例时开启向量引擎优化，更多信息，请参见 创建...
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。CSV 及 XLSX 格式 image_url oss:/*.oss-...