为什么要设置调度依赖 配置调度依赖后，可保障调度任务在运行时能取到正确的数据（当前节点依赖的上游节点成功运行后，DataWorks通过节点运行的状态识别到上游表的最新数据已产生，此时，下游节点再去取数）。避免下游节点取数据时，上游表...
为什么做了冻结操作，任务还是执行？如何查看哪些用户对任务做过哪些操作？冻结周期任务和周期实例的影响 冻结与解冻周期任务 系统每晚会根据周期任务生成第二天要运行的周期实例，冻结周期任务会导致之后生成的周期实例处于冻结状态，并...
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
重跑说明 用于定义节点生成的实例是否可以重跑，即从数据幂等性考虑，任务是否可以重跑，或者在什么情况下可以重跑。生效日期 用于定义节点正常自动调度运行的时间范围，该时间范围外，节点将不再自动调度。使用说明 调度任务的时间属性...
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。创建方式，请参见 ...
DMS支持的数据库 云数据库录入 他云/自建数据库录入 管控模式 增强E-R 新增 增强E-R可以清晰地展示出业务数据之间、数据库表和字段之间的关联、依赖和影响关系。增强E-R 01月 功能名称 变更类型 功能描述 相关文档 分类分级模板 升级 该...
客户端在处理数据时，为了防止客户端内存溢出，可以在迭代器中获取到N条数据后，增加一个数据处理逻辑，再继续在迭代器中获取其他数据。说明 在进行数据导出时，为避免客户端在短时间对服务端发起大量查询请求，建议将同一时刻发起的导出...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据传输服务DTS（Data Transmission Service）支持将SQL Server（包括 RDS SQL Server、自建SQL Server）迁移至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。支持的源数据库 SQL Server迁移至 云...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据 强 一致性 在组复制中，事务总是先传输到集群中其他节点，然后写入Binlog文件，这保证无论主节点在什么时刻发生故障，重新启动后数据都不会比集群选出的新主节点多。旧主节点故障重启后，能够自动加回集群，拉取它缺失的Binlog，就...
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期，您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期，您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期。您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
若当前数据为栅格数据，您还可以做以下操作。查看栅格元数据：在数据表 操作 栏单击 图标，查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...
开发环境确认上下游表数据依赖 您可进入上游节点的编辑界面，查看上游节点调度参数配置与节点代码详情。生产环境确认上下游表数据产出 跨空间依赖确认上游表血缘 若您需依赖其他工作空间的节点，可通过数据地图确认表数据每日写入情况。...
自动解析 系统将根据任务血缘自动解析上游依赖节点并做关联，数据更新将依赖上游数据产出。说明 若自动解析的结果不符合预期，您可以单击 关闭生效按钮，关闭后表示不选择依赖该节点。默认本周期依赖。添加依赖 若 自动解析 无法解析出调度...
空间级别-开发角色：可以做任务开发的工作，如DataStudio任务开发、数据服务开发、DQC配置等。空间级别-运维角色：负责配置资源与任务部署，如配置数据源、发布任务。空间级别-部署角色：仅负责发布任务。空间级别-模型设计师角色：仅能...
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与改造难度进行的量化打分，分数越高说明迁移改部分的应用改造成本越低。说明 ...
不支持添加度量到维度或不支持添加维度到度量 处理方法：数据集表定义中，维度或度量有明确定义，如果需要用度量的某列做维度，可以在数据集编辑页面单击右键，单击 转换为维度/度量，单击 保存，在仪表盘页面刷新，即可获得修改后的表结构...
在依赖数据源页面添加依赖数据源后，您可以在服务方法的编排中使用关联的数据源的应用服务方法。本文介绍如何关联和管理关联数据源。关联和管理数据源 关联数据源 在 应用列表 页面，单击目标轻应用名称。在目标轻应用导航栏中，选择 服务...
另外，通过在备库上模拟操作变更，实际并不切换源表和目标表，可以对源表和目标做校验来持续验证可靠性。代码复杂性 主要依赖触发器的同步和数据库内部操作，工具的作用相对较小。非触发器的设计基于Binlog，有很大的自由度，但是复杂度会...
当数据集是由数据库创建时，您可以做以下操作。单击 数据库连接 后的 设置，修改数据库连接信息。单击 数据定时同步 后的 设置，打开 启用 开关，设置 定时执行 的类型，例如：每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 ...
挂载依赖：就近原则 2 DataWorks上任务一旦设置依赖，即表示上下游任务间存在数据依赖。无论下游任务定时运行时间为几点，均需等上游任务执行完成后，下游才满足可执行条件。依赖关系对任务执行的影响 3 您可通过具体场景示例，进一步理解...
如果想使用MaxCompute的自定义函数（UDF）或MapReduce功能需要依赖什么资源来完成？MaxCompute常见错误信息如何理解，怎么定位问题？使用MaxCompute需要具备什么专业技能？MaxCompute支持多种计算模型数据通道，满足多场景需求。所以您只...
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...
本文将为您列举一些常见数据质量方面的场景，方便...说明 通用排查在您遇到数据质量方面的疑惑时，您可以尝试多次运行任务观察比对数据同步效果，也可以尝试切换源或者对目标数据源做对比测试，通过多次对比测试可以帮助您缩小问题排查范围。
使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时，如何解决？Tunnel Upload完成后，存在脏数据，如何解决？Tunnel Download Tunnel Download导出格式有哪些？在同一地域内使用Tunnel ...
一个数据源分享给目标用户后，源数据源可以控制分享关系，随时解除分享，且无需检查已分享数据源的任务依赖情况。一个数据源以 可编辑 模式分享给目标用户后，如果目标用户执行 取消分享 操作，会检查该分享数据源的任务依赖情况。如果有...
有依赖产出表的节点，但是依赖的节点产生的表分区不是想要的，那就说明依赖的周期不对，可以在周期实例参数配置及日志详情里面查看一天的实例上下游参数替换情况。请重新设置节点依赖关系 查看上下游节点参数配置 场景二：节点状态成功，无...
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
同时助力SQL从业人员利用现有的SQL技能就可以应用机器学习，无需做数据迁移，实现机器学习的能力。使用说明 MaxCompute SQLML功能的使用流程如下：开通MaxCompute、DataWorks（基础版）及 人工智能平台 PAI 服务（PAI（Studio、DSW、EAS）...
阿里云数据库HBase适合什么场景？阿里云数据库HBase是基于HBase及HBase生态构建的低成本一站式数据处理平台，实现数据从处理、存储到分析全流程闭环，让客户用低成本实现一站式数据处理。相比自建HBase和EMR HBase的优势是什么？提供低成本...