开放平台中提供的各类测试数据仅供开发者用于测试使用，阿里云不保证测试数据的真实性、准确性、有效性、及时性，亦不保证能够满足开发者的需求，阿里云不对开发者基于测试数据的使用做出的任何行为的结果承担任何责任。阿里云根据其判断...
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、...
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
概念介绍 数据脱敏：在数据处理和数据存储过程中，通过一定的算法和技术，将敏感数据进行加工处理、模糊化或替换，使得数据无法识别或难以还原，从而达到保护数据安全、防止数据泄露的目的。动态脱敏：对敏感数据进行实时的脱敏处理，只有...
相关使用建议 成功自定义工单的审批流程之后，您可能还需要进行如下操作：提交数据库导出或其他工单，测试设置的审批流程是否符合预期。在用户管理功能中，为审批流程中的审批人设置接收工单审批的方式。例如短信、钉钉、邮箱等。具体操作...
当一个事务使用这个隔离级别运行时，一个查询（没有 FOR UPDATE/SHARE 子句）只能看到查询开始之前已经被提交的数据，而无法看到未提交的数据或在查询执行期间其它事务提交的数据。实际上，SELECT 查询看到的是一个在查询开始运行的瞬间该...
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
高级脱敏功能具有但不限于如下特性：统一管理敏感数据 敏感数据分类分级 周期性扫描敏感数据 主动发现敏感数据 应用场景 实时从生产环境中的数据库（即生产库）获取用户已脱敏的数据来进行报表生成、数据分析、开发测试等。前提条件 已录入...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
在进行数据库日常维护或处理数据库故障时，查看数据库相关的性能指标是必不可少的步骤。RDS MySQL的标准监控提供了丰富的性能监控指标，以及强大的诊断能力，能够及时发现数据库的异常并提供相应的治理方案。并且提供了常见数据库问题场景...
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
基于以上操作，本教程展示了如何将本地数据单次手动上传到MaxCompute中，如需将业务生产过程中产生的数据定时同步至MaxCompute等大数据计算引擎中，推荐使用DataWorks数据集成，详情请参见 数据集成概述。附录：报告中所有卡片用到的SQL...
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
本文介绍开发节点的基本属性和运行属性参数。因为各个节点的不同，基本属性和运行属性参数也存在差异，我们按照通用参数和其他参数来介绍，其中通用参数我们梳理在通用参数中，各个节点的差异参数在其他参数中介绍。基本属性 通用参数 配置...
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
AnalyticDB for MySQL 推出 一键诊断 功能，可针对指定时间段的集群运行状况发起诊断，结合监控数据、日志数据以及库表状态等信息进行联合分析，从集群的资源水位、负载变化、查询SQL、算子、存储等多方面评估集群的健康状况，帮助您提高...
云开发平台有权对用户使用云开发平台的情况进行审查和监督，如用户在使用云开发平台时违反任何上述规定，云开发平台或其授权的人有权要求用户改正或直接采取一切必要的措施（包括但不限于更改或删除用户张贴的内容、暂停或终止用户使用云...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
注意事项 JindoCube并不保证Cache数据和源表数据的一致性，而是需要用户通过手工触发或者设置定期策略触发更新任务同步Cache中的数据，用户需要根据查询对于数据一致性的需求，触发Cache的更新任务。在对查询的执行计划进行优化的时候，...
2023-08-02 产品规格 购买方式 2023年07月 项目管理 功能名称 功能描述 发布时间 相关文档 数据资产关联 在应用和业务逻辑开发中，如需使用数据服务自定义API和数据表等数据资产，必须先在IoT Studio项目中进行关联。2023-07-31 项目 2023...
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化，同时数据分析需求及业务流程复杂性不断增加，这使得传统手动处理数据的方式无法满足现有需求。因此，需要一个自动化流程来确保数据处理、分析、备份等多种需求...
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
高级脚本环境 新版MongoDB Shell的脚本环境建立在Node.js REPL（交互式解释器）之上，您在脚本中可以使用所有的Node.js API和NPM的任何模块。您也可以从文件系统中加载和运行脚本（和旧版MongoDB Shell一样，您可以继续使用Load和Eval执行...
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...