内核术语 名词 描述 分布式表 按照一定的拆分规则根据拆分键将一张表中的数据拆分到多个数据库与数据表中。广播表 广播表不做拆分，且所在数据库的所有数据节点均具有该表的副本。单表 没有做拆分的表为单表。数据库模式 创建数据库时通过...
因此，通过融合搜索引擎，Lindorm宽表增加了SearchIndex，使得业务在不用感知底层的多个引擎以及数据流转的情况下，通过申请一个新的索引即可解决复杂的查询问题，就像使用Lindorm二级索引一样方便快捷。SearchIndex重点构建以下能力：统一...
若同一个工作空间中，两个调度节点往同一张表插入数据，自动解析场景下将导致其中一个节点产生报错，详情请参见 多个节点往同一张表写数据，自动解析报错节点输出名相同。依赖配置：对于使用SQL任务加工离线同步任务的产出表的场景，为了...
最后，各个 有序树 可以进行归并，将内存中的增量数据迁移到磁盘上，磁盘上的多个 有序树 可以进行归并，优化树的形状，整个LSM-tree是一个有序的索引组织结构。在云原生数据库时代，一写多读技术已被广泛应用于生产环境中，主要云厂商都有...
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
Logtail提供处理插件用于将原始日志进一步解析为结构化数据。Logtail处理插件具体可分为原生处理插件和扩展处理插件。原生插件：性能较优，适用于大部分业务场景，推荐优先使用。扩展插件：功能覆盖更广，当您的业务日志过于复杂以致于无法...
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
重要 如果有多个数据库需要迁移，您需要重复执行准备工作中的步骤1到步骤3，否则可能会导致数据不一致。在自建SQL Server数据库中执行如下命令，将待迁移的数据库恢复模式修改为完整模式。use master;GO ALTER DATABASE<database_name>SET ...
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
计算节点是处理数据代码的算法节点，在算法流程中主要用于某个特定场景，或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。背景信息 计算节点支持多种类型，但是配置的参数和方法类似，这里只介绍关键...
DSC 在识别MaxCompute中的敏感数据时，仅读取物理表，且只读取每个表前面的部分数据。MaxCompute只收取读取数据对应的费用。MaxCompute计费规则详情，请参见 MaxCompute定价详情。以下示例仅供参考，具体收费请以定价页面为准。MaxCompute...
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
V2.5.4 2019年6月13日 问题修复 api/query 的响应体中的Header头中的 Content-Type 字段的向下兼容问题修复。V2.5.3 2019年6月10日 接口变更 查询条件中指定的 metric，tagkey，tagvalue 不存在时，查询不再报错而改为返回空结果集。问题...
当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为一个JSON数组解析。...
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
当仅需要运行场景中的部分节点时，按住Shift+鼠标框选需要运行的节点，即可运行已选择的节点，节省运行时间。如果您需要查看之前日期的运行结果，可以通过补数据功能实现，具体操作，请参见 新建补数据计划。如果场景运行失败，您可将鼠标...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 的数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 该迁移任务仅支持在新版控制台配置。自建SQL Server数据库支持...
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。Copy模式：AnalyticDB for PostgreSQL提供copy命令，用于表与文件（标准输出，标准输入）之间的相互复制。数据...
当您的物理引擎中已有大量物理表，且希望通过DataWorks智能数据建模产品统一管理所有模型，则可使用逆向建模功能，将已有物理表反向建模至DataWorks的维度建模中。该功能帮助您无需再次执行建模操作即可快速创建模型，节省了大量的时间成本...
自建IDC和内网DNS的数据共享是混合云内网DNS中的一大痛点。分别管理两套数据不仅给运维工程师带来重复新工作的增加，同时也数据一致性管理的风险。给业务带来不确定性。本文介绍一种自动DNS同步解决方案，可以自动将客户在内网DNS解析控制...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期，您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
重要 阿里云注册域名不支持同时配置多家厂商DNS服务器，因为NS记录缓存时间一般为48小时，部分场景下的故障发生时，NS缓存短时间无法消除，依然会有解析请求到故障DNS。同时不同厂商之间的解析数据不一致问题也容易引发故障。阿里云注册...
包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 已绑定MaxCompute引擎至当前工作空间，绑定后DataWorks会面向引擎自动采集元数据，...
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
数据解析控制台体验优化 数据服务的数据解析功能大幅优化控制台体验，并新增数据解析日志查询和细化错误提示，提升数据解析任务配置效率。数据解析脚本支持Python和PHP 数据服务的数据解析功能在配置自定义节点的解析脚本时，新增支持...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
企业的业务服务所产生的一些标准化表单、日志等数据文件，会被周期性地上传到OSS。但是这些存储在OSS的数据文件缺少元数据管理，导致数据难以分析和计算。AnalyticDB MySQL 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动...
适用场景 适用于在2020年04月之前无存量数据的MaxCompute项目，且该项目依赖的产品组件支持2.0数据类型版本。基础数据类型 类型 常量示例 描述 TINYINT 1Y、-127Y 8位有符号整型。取值范围：128~127。SMALLINT 32767S、-100S 16位有符号...
使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。若您未购买 资产质量 模块，不支持实现主键字段的 唯一 和 非空 校验。前提条件 已完成业务...